英偉達首席科學家：摩爾定律已失效，“黃氏定律”成全新指標

1965年，時任仙童半導體公司工程師，也是后來英特爾的創始人之一的戈登·摩爾（Gordon Moore）提出了摩爾定律（Moore's law），預測集成電路上可以容納的晶體管數目大約每經過24個月便會增加一倍。

后來廣為人知的每18個月芯片性能將提高一倍的說法是由英特爾CEO大衛·豪斯（David House）提出。過去的半個多世紀，半導體行業按照摩爾定律發展，并驅動了一系列的科技創新。

有意思的是，在摩爾定律放緩的當下，以全球另一大芯片公司英偉達（NVIDIA）創始黃仁勛（Jensen Huang）名字命名的定律“黃氏定律 (Huang’s Law)”對AI性能的提升作出預測，預測GPU將推動AI性能實現逐年翻倍。

△英偉達GPU助推AI推理性能每年提升一倍以上

英特爾提出了摩爾定律，也是過去幾十年最成功的芯片公司之一。英偉達作為當下最炙手可熱的AI芯片公司之一，提出黃氏定律是否也意味著其將引領未來幾十年芯片行業的發展？

AI性能將逐年翻倍

受疫情影響，一年一度展示英偉達最新技術、產品和中國合作伙伴成果的GTC China改為線上舉行，黃仁勛缺席今年的主題演講，由英偉達首席科學家兼研究院副總裁Bill Dally進行分享。Bill Dally是全球著名的計算機科學家，擁有120多項專利，在2009年加入英偉達之前，曾任斯坦福大學計算機科學系主任。加入英偉達之后，Dally曾負責英偉達在AI、光線追蹤和高速互連領域的相關研究。

△英偉達首席科學家兼研究院副總裁Bill Dally

雷鋒網消息，在今天GTC China 2020演講中，Dally稱：“如果我們真想提高計算機性能，黃氏定律就是一項重要指標，且在可預見的未來都將一直適用?！?/p>

Dally用三個項目說明黃氏定律將如何得以實現。首先是為了實現超高能效加速器的MAGNet工具。英偉達稱，MAGNet生成的AI推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用芯片高出一個數量級。

之所以能夠實現數量級的性能提升，主要是因為MAGNet采用了一系列新技術來協調并控制通過設備的信息流，最大限度地減少數據傳輸。數據搬運是AI芯片最耗能的環節已經是當今業界的共識，這一研究模型以模組化實現能夠實現靈活擴展。

Dally帶領的200人的研究團隊的另一個研究項目目標是以更快速的光鏈路取代現有系統內的電氣鏈路。Dally說：“我們可以將連接GPU的NVLink速度提高一倍，也許還會再翻番，但電信號最終會消耗殆盡。”

這個項目是英偉達與哥倫比亞大學的研究團隊合作，探討如何利用電信供應商在其核心網絡中所采用的技術，通過一條光纖來傳輸數十路信號。據悉，這種名為“密集波分復用”的技術, 有望在僅一毫米大小的芯片上實現Tb/s級數據的傳輸，是如今互連密度的十倍以上。

△搭載160多個GPU的NVIDIA DGX系統模型

Dally在演講中舉例展示了一個未來將搭載160多個GPU的NVIDIA DGX系統模型。這意味著，利用“密集波分復用”技術，不僅可以實現更大的吞吐量，光鏈路也有助于打造更為密集的系統。

想要發揮光鏈路的全部潛能，還需要相應的軟件，這也是Dally分享的第三個項目——全新編程系統原型Legate。Legate將一種新的編程速記融入了加速軟件庫和高級運行時環境Legion，借助Legate，開發者可在任何規模的系統上運行針對單一GPU編寫的程序——甚至適用于諸如 Selene等搭載數千個GPU的巨型超級計算機。

Dally稱Legate正在美國國家實驗室接受測試。

MAGNet、以光鏈路取代現有系統內的電氣鏈路以及Legate是成功實現黃氏定律的關鍵，但GPU的成功才是基礎。因此，GPU當下的成功以及未來的演進都尤其重要。

GPU是黃氏定律的基礎

今年5月，英偉達發布了面積高達826平方毫米，集成了540億個晶體管的7nm全新安培（Ampere）架構GPU A100。相比Volta 架構的GPU能夠實現20倍的性能提升，并可以同時滿足AI訓練和推理的需求。

憑借更高精度的第三代Tensor Core核心，A100 GPU AI性能相比上一代有明顯提升，雷鋒網此前報道，在7月的第三個版本MLPerf Training v0.7基準測試（Benchmark）結果中，英偉達的DGX SuperPOD系統在性能上開創了八個全新里程碑，共打破16項紀錄。

另外，在10月出爐的MLPerf Inference v0.7結果中，A100 Tensor Core GPU在云端推理的基準測試性能是最先進英特爾CPU的237倍。

更強大的A100 GPU迅速被多個大客戶采用，迄今為止，阿里云、百度智能云、滴滴云、騰訊云等眾多中國云服務提供商推出搭載了英偉達A100的多款云服務及GPU實例，包括圖像識別、語音識別，以及計算流體動力學、計算金融學、分子動力學等快速增長的高性能計算場景。

另外，新華三、浪潮、聯想、寧暢等系統制造商等也選擇了最新發布的A100 PCIe版本以及英偉達 A100 80GB GPU，為超大數據中心提供兼具超強性能與靈活的AI加速系統。

Dally在演講中提到：“經過幾代人的努力，NVIDIA的產品將通過基于物理渲染的路徑追蹤技術，實時生成令人驚艷的圖像，并能夠借助AI構建整個場景?！?/p>

與光鏈路取代現有系統內的電氣鏈路需要軟硬件的匹配一樣，英偉達GPU軟硬件的結合才能應對更多AI應用場景苛刻的挑戰。

Dally在此次的GTC China上首次公開展示了英偉達對話式AI框架Jarvis與GauGAN的組合。GauGAN利用生成式對抗網絡，只需簡略構圖，就能創建美麗的風景圖。演示中，用戶可通過語音指令，即時生成像照片一樣栩栩如生的畫作。

GPU是黃氏定律的基礎，而能否實現并延續黃氏定律，僅靠少數的大公司顯然不夠，還需要眾多的合作伙伴激發對AI算力的需求和更多創新。

黃氏定律能帶來什么？

英偉達已經在構建AI生態，并在GTC China上展示了英偉達初創加速計劃從100多家AI初創公司中脫穎而出的12家公司，這些公司涵蓋會話人工智能、智慧醫療/零售、消費者互聯網/行業應用、深度學習應用/加速數據科學、自主機器/IOT/工業制造、自動駕駛汽車。

智能語音正在改變我們的生活。會話人工智能的深思維提供的是離線智能語音解決方案，在占有很少空間的前提下實現智能交互，語音合成和語音識別保證毫秒級響應。深聲科技基于英偉達的產品研發高質量中英文語音合成、聲音定制、聲音克隆等語音AI技術。

對于行業應用而言，星云Clustar利用英偉達GPU和DGX工作站，能夠大幅提升模型預測精確度以及解決方案處理性能，讓傳統行業的AI升級成本更低、效率更高。

摩爾定律的成功帶來了新的時代，黃氏定律能否成功仍需時間給我們答案。但這一定律的提出對AI性能的提升給出了明確的預測，并且英偉達正在通過硬件、軟件的提升和創新，努力實現黃氏定律，同時借生態的打造想要更深遠的影響AI發展。

黃氏定律值得我們期待