一文看懂特斯拉Dojo的江湖地位及獨門秘籍

近日特斯拉亮相的D1 芯片宣稱擁有500億個晶體管，超過了AMD擁有395.4億個晶體管的Epyc Rome，落后于NVIDIA的GA100 Ampere SoC的540億個晶體管的記錄。

現在，特斯拉不僅是個汽車公司、AI公司，還是個芯片公司。在AI訓練芯片界，用于訓練AI模型的芯片供應商，除了英特爾、英偉達和Graphcore，現在還有特斯拉。

近日特斯拉亮相的D1 芯片宣稱擁有500億個晶體管，超過了AMD擁有395.4億個晶體管的Epyc Rome，落后于NVIDIA的GA100 Ampere SoC的540億個晶體管的記錄。

D1 芯片總共有645mm2，每mm2上集成7750萬個晶體管的有效晶體管密度，僅次于移動芯片蘋果M1，功率密度高于Nvidia A100 GPU。

D1使用 7nm工藝，推測是由三星或臺積電代工，考慮到三星也制造了特斯拉的HW3芯片，所以前者代工D1的可能性更大一些。

25個D1芯片組成一個Training Tile（訓練片，EDN沒有看到官方翻譯，根據Tile的原意”瓦片”和它的外觀暫且譯為”訓練片”吧）；然后12個訓練片可以組成一個服務器機柜，共108 PFlops；幾個機柜再組成Dojo超級計算機。

圖：每個服務器機柜超過 100,000 個功能單元、400,000 個定制內核和132GB SRAM。

Dojo的江湖地位

特斯拉曾經采用NVIDIA GPU構建的超級計算機上過Top10榜單，性能僅略低于中國的太湖之光：

從排名上看起來Dojo并不是計算能力最強的超級計算機，這是Dojo的設計目的只是針對一項非常具體的任務，即：基于大量360度視頻訓練神經網絡。所有代碼都是專門為在此硬件上理想工作而編寫的。

相比之下，其他超級計算機的構建都考慮到了靈活性，以便能夠適應大量不同的任務。當然，如果真的要在視頻訓練上一決高下，即使是最強大的 Fugaku (富岳)，也很可能是比Dojo慢的。

何況巨大的Fugaku是由256 個機柜組成，Dojo僅由10個機柜組成，因此在尺寸方面Dojo也是最小的超級計算機。

如果特斯拉在Dojo中增加54個機柜，Dojo就能超過Fugaku。

智能手機和特斯拉的HW3都是有SoC之外的RAM 芯片的。即使是最快的最厲害的硬盤驅動器也做不到和RAM一樣的隨機存取，無法取代RAM。

理論上，最新的PCIe 4技術只能達到0.5~3GB/s，比消費類計算機標準DDR4 RAM的20~25GB/s差太多，更別提高達50GB/s的下一代 DDR5 RAM。

智能手機和消費電腦通常使用 4-32GB的RAM，專業工作站的RAM甚至可以達到512GB。

那么，如果特斯拉的訓練芯片沒用RAM，那用的是啥？

它內部是有一個更快的隨機內存層，稱為緩存。當 SoC/CPU 調用DRAM時，響應時間約為 60納秒；而L3緩存或片上 SRAM 的響應時間可低至10納秒。

英特爾目前最大的L3緩存是57MB，IBM的記錄是120MB，AMD最強大的處理器有256MB的L3緩存，而特斯拉在 2019 年宣布的 HW3 芯片有 64 MB 的 SRAM。

特斯拉的訓練節點帶有1.25MB的SRAM，354個節點組成的計算陣列，也就是這個SoC算下來就是424.8 MB的緩存，這超過了所有其他處理器。——這有可能都不是L3緩存，而是更快的 L2了。

通常SoC是通過引腳把信號發送到主板上再進行傳輸，但特斯拉并沒有把SoC從晶圓上割下來，而是把留在一片晶圓上的所有SoC連接起來。

新 PCI-e Gen 4 連接的最新 SSD 的理論限制為 64 GB/s，特斯拉的每個連接器能達到900 GB/s的速度，推測是他們定制了自己的連接方式

Dojo采用液體冷卻訓練片 

每個 D1 芯片的功耗僅400 W，25個芯片組成的MCM訓練片的功耗為15千瓦。訓練片是液體冷卻的，據說用了10公斤液體，但特斯拉沒說是水冷。

在Tesla的訓練片中，有SoC的一側與常規處理器一樣是暴露著的，可以直接冷卻。另一側被穩壓器蓋住了，如上圖所示。

那么穩壓器直接蓋在處理器有啥好處？

常見的處理器的電源都是裝在處理器旁邊的主板上，電流需要通過主板、插座、引腳和SoC；而Dojo訓練片的電源可以直接傳輸到SoC，減少了散發的熱量。

最后，看起來特斯拉現在已經掌握著摩爾定律的衣缽，馬斯克表示，“We should have Dojo operational next year”。明年值得期待。

來源：EDN電子技術設計