英偉達打臉AMD：H100在軟件加持下，AI性能比MI300X快47%！

12月14日消息，AMD于本月初推出了其最強的AI芯片Instinct MI300X，其8-GPU服務器的AI性能比英偉達H100 8-GPU高出了60%。對此，英偉達于近日發布了一組最新的H100與MI300X的性能對比數據，展示了H100如何使用正確的軟件提供比MI300X更快的AI性能。

根據AMD此前公布的數據顯示，MI300X的FP8/FP16性能都達到了英偉達（NVIDIA）H100的1.3倍，運行Llama 2 70B和FlashAttention 2 模型的速度比H100均快了20%。在8v8 服務器中，運行Llama 2 70B模型，MI300X比H100快了40%；運行Bloom 176B模型，MI300X比H100快了60%。

但是，需要指出的是，AMD在將MI300X 與 英偉達H100 進行比較時，AMD使用了最新的 ROCm 6.0 套件中的優化庫（可支持最新的計算格式，例如 FP16、Bf16 和 FP8，包括 Sparsity等），才得到了這些數字。相比之下，對于英偉達H100則并未沒有使用英偉達的 TensorRT-LLM 等優化軟件加持情況下進行測試。

AMD對于英偉達H100測試的隱含聲明顯示，使用vLLM v.02.2.2推理軟件和英偉達DGX H100系統，Llama 2 70B查詢的輸入序列長度為2048，輸出序列長度為128。

而英偉達最新公布的對于DGX H100（帶有8個NVIDIA H100 Tensor Core GPU，帶有80 GB HBM3）測試，帶有公開的NVIDIA TensorRT LLM軟件，v0.5.0用于Batch-1，v0.6.1用于延遲閾值測量。工作量詳細信息與腳注與AMD之前的測試相同。

結果顯示，與 AMD展示的MI300X 8-GPU服務器性能相比，英偉達DGX H100 服務器在使用優化的軟件加持后，速度提高了 2 倍多，相比 AMD MI300X 8-GPU 服務器快了47%。

DGX H100 可以在1.7 秒內處理單個推理任務。為了優化響應時間和數據中心吞吐量，云服務為特定服務設置了固定的響應時間。這使他們能夠將多個推理請求組合成更大的“Batch”，并增加服務器每秒的總體推理次數。MLPerf 等行業標準基準測試也使用此固定響應時間指標來衡量性能。

響應時間的微小權衡可能會導致服務器可以實時處理的推理請求數量產生不確定因素。使用固定的 2.5 秒響應時間預算，英偉達DGX H100 服務器每秒可以處理超過 5 個 Llama 2 70B 推理，而Batch-1每秒處理不到一個。

顯然，英偉達使用這些新的基準測試是相對公平的，畢竟AMD也使用其優化的軟件來評估其GPU的性能，所以為什么不在測試英偉達H100時也這樣做呢？

要知道英偉達的軟件堆棧圍繞CUDA生態系統，經過多年的努力和開發，在人工智能市場擁有非常強大的地位，而AMD的ROCm 6.0是新的，尚未在現實場景中進行測試。

根據AMD之前透露的信息顯示，其已經與微軟、Meta等大公司達成了很大一部分交易，這些公司將其MI300X GPU視為英偉達H100解決方案的替代品。

AMD最新的Instinct MI300X預計將在2024年上半年大量出貨，但是，屆時英偉達更強的H200 GPU也將出貨，2024下半年英偉達還將推出新一代的Blackwell B100。另外，英特爾也將會推出其新一代的AI芯片Gaudi 3。接下來，人工智能領域的競爭似乎會變得更加激烈。

編輯：芯智訊-浪客劍