存算一體？要加速AI也許只需要外包內(nèi)存

現(xiàn)代社會(huì)越來(lái)越需要數(shù)據(jù)，尤其是隨著AI的使用持續(xù)呈指數(shù)級(jí)增長(zhǎng)。因此，確保足夠的內(nèi)存以及可持續(xù)支持該內(nèi)存的能力已成為一個(gè)主要問(wèn)題。為了提升AI運(yùn)算的速度，存算一體技術(shù)逐漸成為主角。

不過(guò)，在存算一體盛行的AI計(jì)算領(lǐng)域里，一項(xiàng)違反直覺(jué)的進(jìn)步可能會(huì)使AI系統(tǒng)更快、更節(jié)能。軟件公司 Kove 找到了一種以顯著提高內(nèi)存效率的方式池化和動(dòng)態(tài)分配服務(wù)器內(nèi)存的方法，通過(guò)利用外部池化內(nèi)存來(lái)產(chǎn)生結(jié)果其速度比使用本地內(nèi)存更快。根據(jù)合作伙伴的數(shù)據(jù)顯示，Red Hat 使用Kove系統(tǒng)后延遲減少了9%，Red Hat與服務(wù)器公司Supermicro合作，通過(guò)使用 Kove 的系統(tǒng)實(shí)現(xiàn)了高達(dá)54%的能源節(jié)省。Swift測(cè)試了Kove的方法，與相同硬件相同作業(yè)但使用傳統(tǒng)內(nèi)存方法的虛擬機(jī)相比，在訓(xùn)練模型時(shí)速度提高了60 倍。

Kove 的首席執(zhí)行官 John Overton 已經(jīng)研究此軟件解決方案長(zhǎng)達(dá) 15 年。他強(qiáng)調(diào)，滿足對(duì)內(nèi)存的高需求是計(jì)算機(jī)行業(yè)面臨的最緊迫的問(wèn)題之一。“人們總是抱怨內(nèi)存不足，”他說(shuō)，并指出AI和機(jī)器學(xué)習(xí)算法需要大量數(shù)據(jù)。然而，計(jì)算機(jī)只能在內(nèi)存允許的范圍內(nèi)以最快的速度處理數(shù)據(jù)，并且如果沒(méi)有足夠的數(shù)據(jù)，就會(huì)在任務(wù)中途崩潰。Kove的軟件定義內(nèi)存 （SDM） 解決方案旨在通過(guò)池化內(nèi)存并將其動(dòng)態(tài)分配給服務(wù)器來(lái)緩解這個(gè)問(wèn)題。

軟件定義內(nèi)存的工作原理

Overton 指出，許多計(jì)算機(jī)科學(xué)家認(rèn)為使用外部存儲(chǔ)器（至少與在本地處理數(shù)據(jù)的效率相同）是不可能的，這樣的壯舉將違背物理定律。問(wèn)題歸結(jié)為電子只能以光速傳播的事實(shí)。因此，如果外部存儲(chǔ)器距離它所服務(wù)的計(jì)算機(jī)150米，則到達(dá)外部服務(wù)器的電子將不可避免地存在約500納秒的延遲：數(shù)據(jù)必須傳輸?shù)拿恳幻状蠹s有3.3納秒的延遲。“人們認(rèn)為這個(gè)問(wèn)題是無(wú)法解決的，”O(jiān)verton 說(shuō)。SDM能夠克服這個(gè)問(wèn)題并以超快的速度利用池內(nèi)存，因?yàn)樗鼞?zhàn)略性地劃分正在處理的數(shù)據(jù)。它確保在本地最有效地處理的數(shù)據(jù)保留在CPU中，而其他數(shù)據(jù)駐留在外部?jī)?nèi)存池中。雖然這實(shí)際上傳輸數(shù)據(jù)的速度并不比光速快，但它比使用 CPU 在本地處理所有數(shù)據(jù)更有效。通過(guò)這種方式，SDM 實(shí)際上可以比將數(shù)據(jù)保存在本地更快地處理數(shù)據(jù)。

“我們很聰明地確保處理器從本地主板獲得所需的內(nèi)存，”O(jiān)verton 解釋說(shuō)。“結(jié)果是驚人的。”例如，他指出該公司的合作伙伴之一Red Hat使用Kove的系統(tǒng)后，延遲減少了 9%。

池化內(nèi)存的節(jié)能

Kove 方法的另一個(gè)關(guān)鍵優(yōu)勢(shì)是能源需求大幅減少。通常，科學(xué)家需要在他們可用的任何服務(wù)器上運(yùn)行模型，并且通常需要在大型服務(wù)器上運(yùn)行中型模型，以適應(yīng)內(nèi)存需求的臨時(shí)峰值。這意味著為相對(duì)較小的計(jì)算作業(yè)運(yùn)行更大、更耗能的服務(wù)器。

但是，當(dāng)內(nèi)存被池化并在不同的服務(wù)器之間動(dòng)態(tài)分配時(shí)，就像 SDM 一樣，將使用所需的確切服務(wù)器內(nèi)存量。因此只需要更少的服務(wù)器來(lái)獲得相同的結(jié)果，從而使用更少的功率。Kove 聲稱(chēng)，Red Hat與服務(wù)器公司Supermicro合作，通過(guò)使用Kove的系統(tǒng)實(shí)現(xiàn)了高達(dá)54%的能源節(jié)省。這減少了公司為GB作業(yè)購(gòu)買(mǎi)TB級(jí)服務(wù)器的需求，從而節(jié)省了成本并提高了效率。

“給出記憶需要200毫秒，”O(jiān)verton 說(shuō)，并指出這大約是一個(gè)人眨眼需要多長(zhǎng)時(shí)間?！八哉娴恼ＵＱ?，你就會(huì)得到你需要的記憶?！?

Kove的客戶全球金融消息傳遞網(wǎng)絡(luò)Swift，測(cè)試了Kove的方法，與在相同硬件上運(yùn)行相同作業(yè)但使用傳統(tǒng)內(nèi)存方法的虛擬機(jī)相比，在訓(xùn)練模型時(shí)速度提高了60倍。“想象一下，如果一份60天的工作需要1天，或者一份1小時(shí)的工作需要1分鐘。只需點(diǎn)擊幾下 [使用我們的軟件]，“Overton 說(shuō)。