NVIDIA Hopper GPU于AI推論基準創世界紀錄

NVIDIA H100 Tensor核心GPU在MLPerf人工智能（AI）基準檢驗初登場，便在各項推論作業負載創下世界紀錄，其效能較前一代GPU高出達4.5倍。此測試結果顯示，對于先進AI模型有最高效能需求的用戶來說，Hopper就是首選產品。
 

NVIDIA Hopper在MLPerf人工智能推論基準檢驗初登場即創新世界紀錄

此外，NVIDIA A100 Tensor核心GPU及用于開發AI機器人的NVIDIA Jetson AGX Orin模塊在影像和語音識別、自然語言處理和推薦系統等所有MLPerf測試項目中，整體推論表現持續領先群雄。
亦稱為Hopper的H100，在本輪測試的六個神經網絡中提高單一加速器的效能標準。它在獨立服務器和脫機的情況下，在傳輸量和速度皆展現領先優勢。NVIDIA Hopper架構的效能較NVIDIA Ampere架構的GPU高出4.5倍，在MLPerf測試結果中持續保持全面領先地位。
Hopper在熱門的BERT自然語言處理模型上的出色表現，部分要歸功于它的Transformer引擎。BERT自然語言處理模型是MLPerf AI模型中規模最大、對效能要求最高的模型之一。這些推論基準檢驗是H100 GPU的首次公開展示，此產品將在今年底上市。H100 GPU將參與MLPerf日后的訓練測試。
各大云端服務供貨商與系統制造商已采用的NVIDIA A100 GPU，在最新的AI推論測試中依舊位居主流效能的領導地位。在數據中心與邊緣運算的類別和情境中，A100 GPU的成績比其他參與者提交的測試結果都更為突出。A100在六月的MLPerf訓練基準檢驗中一馬當先，展現處理整個AI工作流程的出色能力。
A100 GPU自2020年7月首次參與MLPerf基準檢驗以來，隨著NVIDIA AI軟件持續改善，效能已經提高6倍。NVIDIA AI是在數據中心與邊緣運算中，唯一能夠運行所有MLPerf推論作業負載和情境的平臺。
NVIDIA GPU能夠在各大AI模型上提供頂尖效能，讓用戶成為真正的贏家。他們在真實世界中的應用通常會用到多種神經網絡。例如，AI應用程序可能要理解用戶的口語請求、對影像進行分類、提出建議，然后用聽起來像人的聲音做出回應。每一步都要用到不同類型的AI模型。
MLPerf基準檢驗涵蓋這些AI模型及其它熱門的AI作業負載和情境，像是計算機視覺、自然語言處理、推薦系統、語音識別等。這些測試確保用戶能獲得可靠且靈活的效能來進行部署。
MLPerf基準檢驗具透明度且客觀，也因此用戶仰賴這些測試結果以做出明智的采購決策。亞馬遜（Amazon）、Arm、百度（Baidu）、Google、哈佛大學（Harvard）、英特爾（Intel）、Meta、微軟（Microsoft）、史丹佛大學（Stanford）與多倫多大學（University of Toronto）等眾多業者與學術單位皆對MLPerf表達支持。
NVIDIA Orin運行MLPerf邊緣運算類別的每一項基準檢驗，多項表現更勝于其他低功耗系統單芯片。相較于四月時首次參與MLPerf測試，這次的能源效率提高多達50%。在前一回合的測試中，Orin的運行速度比上一代Jetson AGX Xavier模塊快5倍，而能源效率平均高出2倍。
Orin將NVIDIA Ampere架構GPU與強大的Arm CPU核心叢集整合到單一芯片內。已可在用于開發機器人和自主系統的NVIDIA Jetson AGX Orin開發工具包及生產模塊中取得，并支持完整的NVIDIA AI軟件堆棧，包括用于自動駕駛車（NVIDIA Hyperion）、醫療設備（Clara Holoscan）與機器人（Isaac）的多個平臺。
從MLPerf的測試結果便能看出NVIDIA AI獲得業界最廣泛的機器學習生態系支持。在本輪測試中，有超過七十份測試結果是透過NVIDIA的平臺運行，像是微軟Azure即提交在其云端服務中運行NVIDIA AI的成果。
此外，由華碩（ASUS）、戴爾科技集團（Dell Technologies）、富士通（Fujitsu）、技嘉（GIGABYTE）、慧與科技（Hewlett Packard Enterprise）、聯想（Lenovo）及美超威（Supermicro）等十家系統制造商推出的19款NVIDIA認證系統亦參與本次測試。
它們的測試結果顯示，無論是在云端或在用戶自己的數據中心服務器上，NVIDIA AI都能為用戶提供絕佳效能。NVIDIA的合作伙伴深知，MLPerf是一項讓客戶用于評估AI平臺及供貨商的寶貴工具，因此才會加入測試。最新一輪的結果顯示，他們如今提供給用戶的出色效能，將隨著NVIDIA平臺的發展而更將持續強化。
于此次測試中使用的各種軟件公開于MLPerf資源庫，每個人都能取得這些世界級的成果。我們不斷將優化結果放入NGC（GPU加速軟件目錄）的容器中。用來為本次提交的AI推論測試結果進行優化的NVIDIA TensorRT也能在NGC中取得。