存算一體？要加速AI也許只需要外包內存

現代社會越來越需要數據，尤其是隨著AI的使用持續呈指數級增長。因此，確保足夠的內存以及可持續支持該內存的能力已成為一個主要問題。為了提升AI運算的速度，存算一體技術逐漸成為主角。

不過，在存算一體盛行的AI計算領域里，一項違反直覺的進步可能會使AI系統更快、更節能。軟件公司 Kove 找到了一種以顯著提高內存效率的方式池化和動態分配服務器內存的方法，通過利用外部池化內存來產生結果其速度比使用本地內存更快。根據合作伙伴的數據顯示，Red Hat 使用Kove系統后延遲減少了9%，Red Hat與服務器公司Supermicro合作，通過使用 Kove 的系統實現了高達54%的能源節省。Swift測試了Kove的方法，與相同硬件相同作業但使用傳統內存方法的虛擬機相比，在訓練模型時速度提高了60 倍。

Kove 的首席執行官 John Overton 已經研究此軟件解決方案長達 15 年。他強調，滿足對內存的高需求是計算機行業面臨的最緊迫的問題之一。“人們總是抱怨內存不足，”他說，并指出AI和機器學習算法需要大量數據。然而，計算機只能在內存允許的范圍內以最快的速度處理數據，并且如果沒有足夠的數據，就會在任務中途崩潰。Kove的軟件定義內存 （SDM） 解決方案旨在通過池化內存并將其動態分配給服務器來緩解這個問題。

軟件定義內存的工作原理

Overton 指出，許多計算機科學家認為使用外部存儲器（至少與在本地處理數據的效率相同）是不可能的，這樣的壯舉將違背物理定律。問題歸結為電子只能以光速傳播的事實。因此，如果外部存儲器距離它所服務的計算機150米，則到達外部服務器的電子將不可避免地存在約500納秒的延遲：數據必須傳輸的每一米大約有3.3納秒的延遲。“人們認為這個問題是無法解決的，”Overton 說。SDM能夠克服這個問題并以超快的速度利用池內存，因為它戰略性地劃分正在處理的數據。它確保在本地最有效地處理的數據保留在CPU中，而其他數據駐留在外部內存池中。雖然這實際上傳輸數據的速度并不比光速快，但它比使用 CPU 在本地處理所有數據更有效。通過這種方式，SDM 實際上可以比將數據保存在本地更快地處理數據。

“我們很聰明地確保處理器從本地主板獲得所需的內存，”Overton 解釋說。“結果是驚人的。”例如，他指出該公司的合作伙伴之一Red Hat使用Kove的系統后，延遲減少了 9%。

池化內存的節能

Kove 方法的另一個關鍵優勢是能源需求大幅減少。通常，科學家需要在他們可用的任何服務器上運行模型，并且通常需要在大型服務器上運行中型模型，以適應內存需求的臨時峰值。這意味著為相對較小的計算作業運行更大、更耗能的服務器。

但是，當內存被池化并在不同的服務器之間動態分配時，就像 SDM 一樣，將使用所需的確切服務器內存量。因此只需要更少的服務器來獲得相同的結果，從而使用更少的功率。Kove 聲稱，Red Hat與服務器公司Supermicro合作，通過使用Kove的系統實現了高達54%的能源節省。這減少了公司為GB作業購買TB級服務器的需求，從而節省了成本并提高了效率。

“給出記憶需要200毫秒，”Overton 說，并指出這大約是一個人眨眼需要多長時間。“所以真的眨眨眼，你就會得到你需要的記憶。”

Kove的客戶全球金融消息傳遞網絡Swift，測試了Kove的方法，與在相同硬件上運行相同作業但使用傳統內存方法的虛擬機相比，在訓練模型時速度提高了60倍。“想象一下，如果一份60天的工作需要1天，或者一份1小時的工作需要1分鐘。只需點擊幾下 [使用我們的軟件]，“Overton 說。