全球最大芯片，想用光互聯(lián)實(shí)現(xiàn)4000倍提升

晶圓級處理器開發(fā)商 Cerebras 正在研究一種光學(xué)子態(tài)，以將其系統(tǒng)性能提高 4000 倍，并呼吁行業(yè)合作和標(biāo)準(zhǔn)化。

目前的 Cerebras WSE3 處理器建立在一塊 300 毫米晶圓上，擁有 900 million晶體管，功耗為 20kW。這家總部位于加州的公司必須開發(fā)自己的晶圓級封裝，用于 I/O、電力輸送和冷卻，目前正在研究光學(xué)互連。

該公司首席系統(tǒng)架構(gòu)師本周在法國格勒諾布爾舉行的 Leti 創(chuàng)新日上發(fā)表了講話，探討了如何利用小芯片和 3D 異構(gòu)封裝技術(shù)應(yīng)對可擴(kuò)展性挑戰(zhàn)。“它不是小芯片，但它仍然是 3D 集成的候選者，”Cerebras 聯(lián)合創(chuàng)始人兼首席系統(tǒng)架構(gòu)師 JP Fricker 表示。“這項(xiàng)技術(shù)將帶來變革。”

然而，性能、擴(kuò)展和功耗的一個關(guān)鍵限制是片外 I/O。

“I/O 是大型計(jì)算的一個限制，會阻止您進(jìn)入非常大的系統(tǒng)。這些技術(shù)現(xiàn)在已經(jīng)存在，但我們需要發(fā)明技術(shù)來將它們整合在一起。我們正在開發(fā)這些技術(shù)，我們的目標(biāo)是構(gòu)建比現(xiàn)在快 4000 倍的超級計(jì)算機(jī)，并將 1000 個晶圓連接在一起。”

“目前，I/O 位于芯片的兩個邊緣，但如果 I/O 分布在芯片上，效果會更好。縮短通道長度可以減小 SERDES 的尺寸，從而節(jié)省空間和功耗。”

“我們希望擁有大量的光學(xué)引擎，”他說。“目前它們是外部的，但最終我們會將這些激光器放入芯片中。”他說，這些將用于多個通信通道，數(shù)據(jù)速率合理，為 100 到 200Gbit/s，而不是粗管道。

“我們有自己的晶圓級引擎，并采用第三方晶圓級可編程光學(xué)互連，將它們組合在一起，利用晶圓的整個表面連接到晶圓上，”他說。“這需要異質(zhì)晶圓對晶圓的封裝。”

Celestia AI 和 LightMatter 等公司一直在開發(fā)這些光互連技術(shù)，特別是針對超大規(guī)模和 AI 芯片公司。

“但我們需要發(fā)明或重新利用技術(shù)。當(dāng)前的互連間距太粗，我們無法獲得愿意集成該技術(shù)的晶圓廠，因?yàn)樗”娏耍晕覀冃枰獎?chuàng)建一種不同的工藝。混合鍵合可實(shí)現(xiàn) 12 微米以下的更細(xì)間距和更高的組裝產(chǎn)量，但它僅在特定晶圓廠中可用，并且晶圓廠中的工藝對有限，例如 5nm 到 5nm 晶圓，但不能使用不同的代工廠，而且兩年后也是如此。”

工藝步驟中也存在挑戰(zhàn)。

“為了進(jìn)行混合鍵合，晶圓廠會在最后的銅層之一處停止，這個銅層不容易探測，但這使得運(yùn)送到另一家晶圓廠變得困難。”

“我們希望開發(fā)一種新技術(shù)，通過一個共同的頂層來標(biāo)準(zhǔn)化晶圓的表面處理，并將這一層用作晶圓堆疊的標(biāo)準(zhǔn)接口，這樣不同的晶圓可以以不同的方式制造，但最后一組接口對于不同工廠之間的鍵合來說是通用的。這也意味著鍵合可以由第三方完成，而不僅僅是大批量工廠，”他說。

測試探針在銅層上留下的標(biāo)記對于平坦化來說也是一個問題，必須去除這些標(biāo)記或使用非接觸式測試系統(tǒng)。

但他表示，這一做法具有顯著的優(yōu)勢。

“我們可以通過光學(xué)晶圓傳輸電力，因?yàn)樵∈瑁性S多硅通孔 (TSV) 和非常短的通道，并且這些元件通過使用多種波長位于單層中。這樣就可以在同一系統(tǒng)中從頂部傳輸電力并從底部移除冷卻。”

“在我們的案例中，計(jì)算晶圓上的網(wǎng)絡(luò)基于可配置結(jié)構(gòu)，該結(jié)構(gòu)在晶圓上運(yùn)行工作負(fù)載之前設(shè)置。當(dāng)您在光域中使用電路交換執(zhí)行此操作時，您可以將電氣交換發(fā)展到光域，但您不需要經(jīng)常這樣做。

跨越英偉達(dá)的護(hù)城河

英偉達(dá)的護(hù)城河有多寬？這是如今投資者心中3萬億美元的問題。至少部分答案可能在今年晚些時候以IPO的形式出現(xiàn)。Cerebras Systems是一家試圖在人工智能芯片戰(zhàn)場上挑戰(zhàn)英偉達(dá)的初創(chuàng)公司 AI，該公司將于2024年底進(jìn)行首次公開募股。

Eclipse Ventures的創(chuàng)始人兼管理合伙人Lior Susan 于2015年首次投資Cerebras ，當(dāng)時該公司有五張演示幻燈片和新計(jì)算機(jī)架構(gòu)的理論計(jì)劃。八年后，這家初創(chuàng)公司提供了具有大量內(nèi)存的特殊大型芯片，適用于模型訓(xùn)練和推理等生成式人工智能工作負(fù)載。這些與 Nvidia 芯片（包括 B100 和 H100）相抗衡。

與 Nvidia 競爭最“煩人”的事情是 CUDA 但根據(jù) Susan 的說法，

CUDA 是 Nvidia 構(gòu)建的軟件層，旨在幫助開發(fā)人員處理和指導(dǎo)其圖形處理單元。該平臺擁有數(shù)百萬行代碼，可節(jié)省開發(fā)人員的時間和金錢，在這一點(diǎn)上，它是大部分人工智能生態(tài)系統(tǒng)的默認(rèn)代碼。

Cerebras有自己的軟件，可以與初創(chuàng)公司的芯片配合使用。但即使是精心設(shè)計(jì)的替代品也比 CUDA 落后數(shù)年。隨著開發(fā)人員的知識和習(xí)慣的建立，這種領(lǐng)先優(yōu)勢將很難打破。

“我個人完全低估了銷售芯片的CUDA部分，”Susan說。“你是沖著硬件來的。你留下來是因?yàn)檐浖Ｋa(bǔ)充說：“作為技術(shù)人員，我們總是喜歡哭泣，說我們不喜歡某些東西，但后來我們繼續(xù)使用它。因?yàn)闆]有比這更好的了。

半導(dǎo)體行業(yè)資深人士、Thomvest董事總經(jīng)理Umesh Padval稱CUDA為堡壘。它在 2007 年發(fā)展緩慢，但近年來像滾雪球一樣越滾越大，大約有 500 萬開發(fā)人員編寫 CUDA 代碼，向規(guī)范添加可用數(shù)據(jù)，排除錯誤并相互支持。

隨著時間的流逝，Nvidia 在 CUDA 之上疊加了更多工具和資產(chǎn)。像單詞庫和訓(xùn)練數(shù)據(jù)這樣的東西，初創(chuàng)公司可以利用這些數(shù)據(jù)，這樣他們就不會在每次決定將人工智能革命的力量指向一個新的用例時從頭開始。例如，Modulus 是一個幫助人工智能理解物理的庫。

“他現(xiàn)在有數(shù)以百萬計(jì)的軟件開發(fā)人員，他們知道這門語言，并且已經(jīng)使用了很長時間，”Padval在談到英偉達(dá)首席執(zhí)行官黃仁勛時說。“總有一天會解決的，但這是一條很大的護(hù)城河。”

越過這條CUDA護(hù)城河是關(guān)鍵。Business Insider 獲得的亞馬遜內(nèi)部文件就是一個例子。文件稱，亞馬遜的 Neuron 軟件旨在幫助開發(fā)人員使用 AWS 的 AI 芯片構(gòu)建 AI 工具，但目前的設(shè)置“阻止了從 NVIDIA CUDA 的遷移”。這是阻礙一些AWS客戶使用亞馬遜人工智能芯片的主要因素之一。

任何構(gòu)建CUDA替代品的人都不能完全忘記它。如果初創(chuàng)公司出于這種意圖從頭開始構(gòu)建技術(shù)，他們可以嘗試完全避免這種情況 。但是，大多數(shù) AI 開發(fā)人員如果想改變他們的硬件，就必須通過艱苦的工作來改變他們的軟件。

AMD是英偉達(dá)最直接的競爭對手 ，擁有自己的平臺ROCm。它帶有一個名為 Hipify 的工具，可將 CUDA 軟件代碼轉(zhuǎn)換為更便攜的東西。

“你用CUDA編寫一個程序。要在AMD GPU上運(yùn)行它，您可以使用Hipify工具進(jìn)行切換，“AI芯片初創(chuàng)公司Positron的聯(lián)合創(chuàng)始人兼首席執(zhí)行官Thomas Sohmers說。“坦率地說，我還沒有看到有人使用Hipify。

9月，包括高通、谷歌和英特爾在內(nèi)的一群 AI 名人和 Nvidia 競爭對手成立了 UXL 基金會 ，以構(gòu)建一個與芯片無關(guān)的競爭對手軟件平臺。該軟件要到 2024 年底才能投入使用。其他攻破CUDA堡壘的嘗試都失敗了 。

然而，時間和慣性是一個強(qiáng)大的組合，正如KG Ganapathi樂于解釋的那樣。

他的創(chuàng)業(yè)公司Vimaan正在為未來的“黑暗倉庫”開發(fā)技術(shù)，不需要人工操作。它使用計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)來理解和編目每個項(xiàng)目的形狀、大小、數(shù)量和位置。Vimaan 已獲得亞馬遜 工業(yè)創(chuàng)新基金 的資助，并且是 Nvidia 初創(chuàng)公司 Inception 計(jì)劃的一部分。

Vimaan團(tuán)隊(duì)已經(jīng)在CUDA中構(gòu)建了整個系統(tǒng)，而Ganapathi現(xiàn)在沒有興趣改變它，即使有明確的理由這樣做。

“我是否要借此機(jī)會切換我們在英偉達(dá)平臺上構(gòu)建的整個基礎(chǔ)設(shè)施？”他說。“可能不會。”

盡管如此，Thomvest 的 Padval 相信 Nvidia 客戶希望通過多樣化他們的 GPU 和支持軟件來源來降低風(fēng)險。這意味著競爭對手仍將受到資本以及產(chǎn)品測試和購買的推動。

“客戶喜歡領(lǐng)導(dǎo)者。但他們也覺得他們想要第二個來源，這樣他們就有了選擇，“他說。

由于CUDA可能是英偉達(dá)護(hù)城河中最重要的元素，因此對該公司市場份額的長期預(yù)測可以表明這種影響力有多大。

Eclipse Ventures的Susan表示，這個市場是如此巨大，即使從英偉達(dá)手中奪走一小部分也是值得的。

“我說嘿，我最大的競爭對手價值3.5萬億美元，所以你知道，如果我得到10%，我就是一個快樂的人，”他說。

來源:半導(dǎo)體行業(yè)觀察