“黃氏定律”，英偉達AI成功的秘訣
加入技術交流群
據稱，與過去十年 GPU 推理性能提升 1,000 倍相比，流程增益的重要性要低得多。
當人們爭論摩爾定律在 2020 年代是否會放緩、是否仍然適用，甚至是死是活時，Nvidia 的科學家們預示著黃氏定律背后的令人印象深刻的勢頭。據稱，在過去十年中，Nvidia GPU 人工智能處理能力增長了 1000 倍。黃定律意味著我們在“單芯片推理性能”中看到的加速現在不會逐漸消失，而是會繼續出現。
英偉達周五發布了一篇有關黃氏定律的博文，概述了黃氏定律背后的信念和工作實踐。有趣的是，Nvidia 首席科學家 Bill Dally 所描述的“后摩爾定律時代計算機性能如何實現的結構性轉變”主要基于人類的聰明才智。建立法律時，這一特征似乎有些不可預測，但達利認為，下面令人印象深刻的圖表標志著黃氏定律的開始。
根據 Dally 最近在 Hot Chips 2023 會議上的演講，上圖顯示過去十年 GPU AI 推理性能增長了 1000 倍。英偉達首席科學家表示，有趣的是，與摩爾定律不同，工藝縮小對黃氏定律的進展幾乎沒有影響。
Dally 回憶起如何通過改變 Nvidia GPU 底層數字處理來實現 16 倍的增益。使用 Transformer 引擎的Nvidia Hopper架構的到來帶來了另一個巨大的推動。據稱，Hopper 使用 8 位和 16 位浮點與整數數學的動態組合，實現了 12.5 倍的性能飛躍，并且節省了能源。這位科學家表示，此前，Nvidia Ampere引入了結構稀疏性，使性能提高了 2 倍。NVLink 和 Nvidia 網絡技術等進步進一步增強了這些令人印象深刻的成果。
Dally 最令人驚訝的說法之一是，AI 推理性能的復合收益超過 1000 倍，與流程改進帶來的收益形成鮮明對比。Hot Chips 的 Dally 表示，在過去十年中，隨著 Nvidia GPU 從 28 納米工藝轉向 5 納米工藝，半導體工藝改進“僅占總收益的 2.5 倍”。
在“用巧思和努力發明和驗證新鮮食材”等理念的背后，黃氏法則將如何快速發展？值得慶幸的是，Dally表示他和他的團隊仍然看到了加速人工智能推理處理的“幾個機會”。探索的途徑包括“進一步簡化數字的表示方式，在人工智能模型中創造更多的稀疏性以及設計更好的內存和通信電路。”
*博客內容為網友個人發布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
