FuriosaAI推出高能效AI芯片：性能與英偉達L40S接近，功耗低40%！

8月27日消息，在近日召開的Hot Chips 2024大會上，韓國AI芯片初創公司FuriosaAI 推出了一款面向高性能大型語言模型和多模態模型推理的高能效數據中心AI加速器 RNGD。

需要指出的是，這款芯片并不追求最高的AI性能，對標的也不是英偉達的H100之類的高性能AI芯片，而是一款追求高能效、低功耗AI數據中心解決方案，性能與英偉達L40S接近，功耗還降低了40%。

具體來說，FuriosaAI RNGD基于臺積電5nm工藝制造，其核心的面積為653mm2，晶體管數量為400億顆，AI計算核心的頻率為1.0GHz，擁有256MB的片上SRAM，外圍還通過CoWoS-S封裝集成了48GB HBM3（2顆12層堆棧的24GB HBM），內存帶寬為1.5TB/s。

在性能方面，基于 RNGD芯片的單張卡算力為64TFLOPS（FP8），可以運行Llama 3.1 8B等大語言模型，TDP功耗僅150W，相比之下英偉達H100 TDP則高達400W。而基于8張RNGD加速卡的系統，則可提供最高512TFLOPS（FP8）和1024TOPS（INT4）的計算能力。

根據FuriosaAI介紹，RNGD在運行擁有約100億個參數的模型時，能夠達到每秒處理多達3000個Token的吞吐量。在復雜的AI算法處理場景中，其能夠有效降低電費和冷卻成本，為數據中心提供了一種可持續的發展解決方案。與當前市場上的主流GPU相比，RNGD芯片能耗大幅降低的同時，計算性能卻未受影響，提升了整體的經濟效益。

正如前面所提及的，FuriosaAI并沒有將RNGD的目標對準高性能的英偉達H100之類的產品，而是瞄準了英偉達L40S，目標不僅是提供相似的性能，而且是以更低的功耗提供該性能。根據FuriosaAI提供的數據顯示，RNGD在擁有與英偉達L40S相近的AI性能的情況下，其能耗大約只有L40S的60%（即相當于功耗降低了40%），這也反應了其出色的能效表現。

FuriosaAI RNGD的高能效主要得益于其獨特的TCP架構。FuriosaAI表示，該架構在能效、性能和可編程性之間達成了良好的平衡，能夠高效管理數據和內存。這使得RNGD在處理例如Llama3這樣的龐大模型時，比傳統GPU方案具備明顯的優勢，尤其是在能效比方面。

當然，這也得益于FuriosaAI RNGD來自于硬件、軟件和算法方面的聯合優化。

比如，FuriosaAI一直試圖解決在硬件和軟件之間的抽象層上工作的挑戰。

張量收縮是FuriosaAI的主要操作之一。在BERT方面，占據了FLOPS算力的99%。

通常，我們把矩陣乘法作為基元，而不是張量收縮。

相反，抽象是在張量收縮級別。

FuriosaAI為其原語添加了一個低級einsum。

這里，矩陣A和B相乘產生C。

然后，FuriosaAI利用這一點，在具有內存和計算單元的實際架構上對其進行調度。

從這里開始，一個完整的張量收縮可以是一個本原。

通過考慮空間和時間編排，他們可以提高效率和利用率。

Furiosa表示，它具有靈活的可重新配置性，這對于在批量變化時保持高性能非常重要。

下面是RNGD實現的情況：

以下是互連網絡，包括訪問暫存存儲器。

FuriosaAI正在使用PCIe Gen5 xq6進行芯片到芯片的通信。它還通過PCIe交換機使用P2P進行GPU之間的直接通信。

FuriosaAI支持SR-IOV進行虛擬化。

FuriosaAI已經為可靠性做了信號和電源完整性方面的工作。

下面是Furiosa LLM如何以流程圖的形式工作：

編譯器編譯映射到多個設備的每個分區。

編譯器優化了模型的性能增益和能效。

服務框架做類似連續批處理的事情來獲得更多的利用率。

FuriosaAI公司有一個基于圖表的自動化工具來幫助量化。Furiosa可以支持許多不同的格式，包括FP8和INT4。

編輯：芯智訊-浪客劍 編譯自：servethehome