Graphcore IPU-M2000在首個(gè)benchmark測(cè)試中顯著優(yōu)于GPU

Graphcore為其最新的AI計(jì)算系統(tǒng)——IPU-M2000和縱向擴(kuò)展的IPU-POD64發(fā)布了 第一套性能benchmark 。

在各種流行的模型中，Graphcore技術(shù)在訓(xùn)練和推理方面均顯著優(yōu)于NVIDIA的A100（基于DGX）。

亮點(diǎn)包括：

訓(xùn)練

●   EfficientNet-B4：吞吐量高18倍

●   ResNeXt-101：吞吐量高3.7倍

●   BERT-Large：與DGX A100相比，在IPU-POD64上的訓(xùn)練時(shí)間快5.3倍（比雙DGX系統(tǒng)縮短2.6倍）

推理

●   LSTM：以更低時(shí)延實(shí)現(xiàn)吞吐量提升超過(guò)600倍

●   EfficientNet-B0：吞吐量提升60倍/時(shí)延縮短超過(guò)16倍

●   ResNeXt-101：吞吐量提升40倍/時(shí)延縮短10倍

●   BERT-Large：以更低的時(shí)延實(shí)現(xiàn)吞吐量提升3.4倍

Benchmark中包括了BERT-Large（基于Transformer的自然語(yǔ)言處理模型）在IPU-POD64的全部64個(gè)處理器上運(yùn)行的結(jié)果。

BERT-Large的訓(xùn)練時(shí)間比最新的NVIDIA DGX-A100快5.3倍（比雙DGX設(shè)置快2.6倍以上），這一結(jié)果彰顯了Graphcore的IPU-POD橫向擴(kuò)展解決方案在數(shù)據(jù)中心的優(yōu)勢(shì)，以及Poplar軟件棧管理復(fù)雜工作負(fù)載的能力，這些工作負(fù)載能夠利用多個(gè)處理器并行工作。

Graphcore軟件高級(jí)副總裁Matt Fyles在對(duì)測(cè)試結(jié)果發(fā)表評(píng)論時(shí)說(shuō)：“這一整套全面的benchmark表明Graphcore的IPU-M2000和IPU-POD64在許多流行模型上的性能均優(yōu)于GPU。”

“諸如EfficientNet之類的新型模型的benchmark特別具有啟發(fā)性，因?yàn)樗鼈冏C明了AI的發(fā)展方向越來(lái)越傾向于IPU的專業(yè)架構(gòu)，而非圖形處理器的傳統(tǒng)設(shè)計(jì)。”

“客戶需要能夠處理稀疏性以高效運(yùn)行大規(guī)模模型的計(jì)算系統(tǒng)，而這正是Graphcore IPU所擅長(zhǎng)的。在這種客戶需求的趨勢(shì)下，差距只會(huì)不斷擴(kuò)大。”

Graphcore為阿里云HALO定制代碼正式在GitHub開源

MLCommons

除了發(fā)布其AI計(jì)算系統(tǒng)的全面benchmark外，Graphcore還宣布，其已經(jīng)加入新成立的MLPerf下屬機(jī)構(gòu)MLCommons，成為MLCommons的會(huì)員。

Graphcore將從2021年開始參加MLCommons的比較benchmark測(cè)試。

現(xiàn)已出貨

Graphcore最新benchmark的發(fā)布與IPU-M2000和IPU-POD64系統(tǒng)向全球客戶的推出時(shí)間剛好一致。一些早期發(fā)貨的產(chǎn)品已經(jīng)在數(shù)據(jù)中心安裝并運(yùn)行。

PyTorch和Poplar 1.4

Graphcore用戶現(xiàn)在可以利用Poplar SDK 1.4，包括全面的PyTorch支持。PyTorch已成為從事尖端AI研究的開發(fā)人員的首選框架，在更廣泛的AI社區(qū)中也收獲了大批的追隨者，并且追隨者的數(shù)量還在快速增長(zhǎng)。

PapersWithCode 的最新數(shù)據(jù)顯示，在具有關(guān)聯(lián)代碼的已發(fā)表論文中，47%的論文使用了PyTorch框架（2020年9月）。

額外補(bǔ)充的PyTorch支持，再加上Poplar對(duì)TensorFlow的現(xiàn)有支持，這意味著絕大多數(shù)AI應(yīng)用程序現(xiàn)在都可以輕松部署在Graphcore系統(tǒng)上。

與Poplar軟件棧的其他元素一樣，Graphcore正在將其用于IPU接口庫(kù)的PyTorch開源，從而使社區(qū)能夠?qū)yTorch的開發(fā)做出貢獻(xiàn)，并且加速PyTorch的開發(fā)。

關(guān)于IPU-M2000和IPU-POD

IPU-Machine：M2000（IPU-M2000）是一臺(tái)即插即用的機(jī)器智能計(jì)算刀片，旨在輕松部署并為可大規(guī)模擴(kuò)展的系統(tǒng)提供支持。

纖巧的1U刀片可提供1 PetaFlop的機(jī)器智能計(jì)算能力，并在機(jī)箱內(nèi)部納入針對(duì)AI橫向擴(kuò)展進(jìn)行了優(yōu)化的集成網(wǎng)絡(luò)技術(shù)。

每個(gè)IPU-Machine：M2000（IPU-M2000）均由Graphcore的4個(gè)新型7納米Colossus? MK2 GC200 IPU處理器提供動(dòng)力，并得到Poplar^?軟件棧的完全支持。

IPU-POD64是Graphcore的橫向擴(kuò)展解決方案，包括16臺(tái)IPU-M2000，這些機(jī)器使用Graphcore的超高帶寬IPU-Fabric?技術(shù)進(jìn)行了預(yù)先配置和連接。

IPU-POD64專為需要大規(guī)模AI計(jì)算功能的客戶而設(shè)計(jì)，既可以跨多個(gè)IPU運(yùn)行單個(gè)工作負(fù)載以進(jìn)行并行計(jì)算，也可以通過(guò)Graphcore的Virtual-IPU軟件供多個(gè)用戶共享使用。

關(guān)于Graphcore

Graphcore的智能處理器（IPU）硬件和Poplar軟件幫助創(chuàng)新者創(chuàng)建下一代機(jī)器智能解決方案。IPU是第一個(gè)專門為機(jī)器智能設(shè)計(jì)的處理器，與通常在人工智能中使用的其他計(jì)算硬件相比，IPU具有明顯的性能優(yōu)勢(shì)。

除了在當(dāng)今最常見的工作負(fù)載中表現(xiàn)優(yōu)于其他技術(shù)外，Graphcore IPU的架構(gòu)方式還使其能夠在下一代AI應(yīng)用程序（包括高度稀疏的模型）中脫穎而出。

Graphcore已從領(lǐng)先的金融和戰(zhàn)略投資者那里籌集了超過(guò)4.5億美元的資金，總部位于英國(guó)布里斯托，并在英國(guó)倫敦、挪威奧斯陸、中國(guó)北京和美國(guó)帕拉奧圖等設(shè)有辦公室。

更多信息，請(qǐng)參閱 MLCommons的成立公告 。

銷售工作得到了Graphcore全球 合作伙伴網(wǎng)絡(luò) 以及公司在歐洲、亞洲和美洲的銷售人員和現(xiàn)場(chǎng)工程團(tuán)隊(duì)的支持。