超越HBM：三星將內存處理技術分解為人工智能應用

人工智能應用帶來了許多挑戰，包括數據處理和內存。三星希望通過結合內存處理和高帶寬內存來解決這些問題。

今年的熱芯片33會議帶來了很多有趣的技術專注于人工智能（AI）和高帶寬存儲器（哈佛商學院）。其中一家公司，尤其是三星展示了整合在它的兩個設備中，一個是HBM，另一個是內存處理（PIM），它將在AI算法和應用程序中處理大量數據。

內存處理架構超越了HBM，包括DRAM模塊和移動內存。圖片使用由三星

在這篇文章中，讓我們深入了解三星在Hot Chips 33上的表現，以及這對HBM世界的意義。

自1998年以來，熱芯片一直是一個世界著名的會議領導半導體行業，展示先進的高性能微處理器和集成電路（IC）。

在今年的活動中，三星展示了人工智能技術內存生態系統的最新集成解決方案 HBM-PIM公司系統。這個組合使用錫林克斯阿爾維奧人工智能加速器系統，聲稱可以將整個系統性能提高2.5倍的標準速率，能耗降低70%。

錫林克斯的阿爾維奧人工智能加速器。圖片使用由錫林克斯

更快的速率和更少的能量消耗對人工智能應用至關重要。人工智能算法和應用程序面臨的一些問題來自于大量的數據，而當前的存儲設備沒有足夠的容量和帶寬來滿足這些數據。

如果系統不能處理所有輸入的數據，內存系統的計算性能就會受到影響。三星集成PIM的計劃應該允許一些數據在內存設備中本地保存和處理，從而減少流量。

數據處理在人工智能應用中是必不可少的，需要一個重新設計的存儲設備。

如HBM-PIM，以實現AI加速器引擎支持的計算邏輯。

PIM的功能從集成計算和內存開始，使內存設備能夠在本地執行任何操作。

使用PIM，三星可以消除對工業標準邏輯設備和內存解決方案的需求，這些設備通常執行CPU、GPU和NPU等計算。這種內存解決方案不僅節省了系統的占用空間，而且還最大限度地減少了延遲，提高了處理速度，并提高了整體能效。

三星電子（Samsung Electronics）負責DRAM產品和技術的高級副總裁金南成（Nam Sung Kim）認為，HBM的未來在于這項技術的標準化。一旦實現了這一點，應用程序的數量就可以增加，并擴展到下一代超級計算機和人工智能應用程序的HBM3中，包括用于設備人工智能的移動存儲器和用于數據中心的存儲模塊。

既然三星已經制定了更多關于HBM和PIM的計劃，讓我們看看它的發布。

三星不僅介紹了HBM-PIM背后的理念和研究成果，還分享了新的設備，這些設備將結合基于人工智能的功能，以增強超級計算機和算法的高速數據處理能力。

Aquabolt XL是三星的預期產品之一，它的特點是在裝有保險絲的HBM設備內安裝了一個名為可編程計算單元（PCU）的AI引擎。

對于大型數據集，計算和內存受限的人工智能應用所需的容量和帶寬的增加就是為什么需要HBM-PIM，三星將該PIM并入其中，以增強HBM的功能。

Aquabolt XL采用PCU，可在內存系統的核心內實現并行處理。通過添加HBM設備，整個體系結構是健壯的，并且為高數據流量做好了準備。

HBM的核心是PCU引擎，但總體架構是什么？

HBM是通過堆疊構建的德拉姆模具相互重疊，允許并行訪問每個DRAM模具。HBM高度的內部并行性對整個過程至關重要。

與單純使用HBM相比，涉及語音識別的人工智能應用程序的性能提高了2倍。在DRAM芯片內部發生相同數量的計算的情況下，與移動數據相關聯的IO流量被消除，從而導致功耗降低。

AXDIMM是一種CPU內存數據移動，可以避免系統中出現瓶頸，使用PIM將有助于此平臺。

三星發布的第二款產品是它的加速DIMM（AXDIMM），支持對DRAM模塊的處理，最大限度地減少CPU和DRAM之間的大數據移動。

這種數據移動的最小化可以提高所有人工智能加速器系統的能源效率。本質上，這個芯片作為一個緩沖區，里面有一個人工智能引擎。AXDIMM可以執行多個內存列組（DRAM芯片集）的并行處理，而不是一次訪問一個列組。總的來說，這個模塊聽起來很有前途，因為它可以保留傳統的DIMM形式，而AXDIMM則成為一個不需要修改系統的直接替代品。

為了保持雙倍統計的主題，三星的AXDIMM在基于人工智能的應用程序中提供了兩倍的性能，整體系統的能耗降低了40%。

同樣，盡管前景看好，但看到三星在HBM方面如何發展PIM將是一件很有趣的事情。

一旦三星開始融合PIM和HBM，就不需要額外的工作來將PIM與其他行業標準的存儲系統結合起來，比如低功耗雙數據速率（LPDDR）和圖形雙數據速率（GDDR）。集成的便利性可能會為PIM打開許多大門。

工程師、計算機架構師和技術愛好者預計，三星將在2022年擴大其人工智能內存產品組合，包括所有PIM技術。三星公司的領導者們需要繼續推出基于人工智能的自動語音識別系統，并計劃推出更大容量的智能語音識別系統。