Tenstorrent推出基于RISC-V架構(gòu)的高性能AI芯片

7月20日消息，由傳奇芯片架構(gòu)師Jim Keller領(lǐng)導(dǎo)的AI芯片新創(chuàng)公司Tenstorrent近日通過(guò)官網(wǎng)宣布，推出新一代基于RISC-V架構(gòu)的高性能AI芯片Wormhole n150，以及基于該芯片的PCIe卡Wormhole n300和面向軟件開(kāi)發(fā)人員的 TT-LoudBox 和 TT-QuietBox 工作站。

Tenstorrent 首席執(zhí)行官 Jim Keller 表示：“將更多產(chǎn)品交到開(kāi)發(fā)人員手中總是有益的。使用我們的 Wormhole 卡發(fā)布開(kāi)發(fā)系統(tǒng)有助于開(kāi)發(fā)人員擴(kuò)大規(guī)模并開(kāi)發(fā)多芯片 AI 軟件。除了這次發(fā)布之外，我們很高興我們的第二代 Blackhole 的流片和通電進(jìn)展非常順利。”

據(jù)介紹，Wormhole n150采用 Tenstorrent 自研的靈活、可擴(kuò)展的Wormhole Tensix 人工智能計(jì)算內(nèi)核，擁有72核心和 108 MB SRAM，主頻為1GHz，運(yùn)行功率高達(dá) 160W，可以提供262 TeraFLOPs (FP8)的算力。單****配備了 12 GB GDDR6 內(nèi)存，帶寬為 288 GB/s。

需要指出的是，Tenstorrent 的每一個(gè)Tensix 人工智能計(jì)算內(nèi)核內(nèi)部都集成了 5 個(gè)支持各種數(shù)據(jù)格式的基于 RISC-V 架構(gòu)的微處理器。

Tenstorrent稱，與傳統(tǒng) GPU 相比，Wormhole n150提供卓越的性價(jià)比和廣泛的數(shù)據(jù)精度格式支持。同時(shí)，還可以聯(lián)網(wǎng)成工作站和服務(wù)器的多芯片網(wǎng)格，并由兩個(gè)開(kāi)源SDK支持，用于高級(jí)（TT-Buda）或低級(jí)（TT-Metalium）開(kāi)發(fā)，還包括主動(dòng)冷卻套件。

Wormhole n300 就是由兩顆Wormhole n150芯片組成的PCIe加速卡，擁有128 個(gè)Wormhole Tensix 核心，主頻1GHz，192 MB SRAM，以及板載24 GB GDDR6，頻率為 576 GB/s，可以在300W 下提供高達(dá) 466 FP8 TFLOPS的算力。軟件配套方面與Wormhole n150s一致。

Tenstorrent 還推出了新的工作站，包括 TT-QuietBox和TT-LoudBox。

TT-QuietBox 是一款液冷桌面工作站，是面向運(yùn)行或測(cè)試 AI 模型的開(kāi)發(fā)人員的絕佳解決方案，或者是為 HPC 移植和開(kāi)發(fā)庫(kù)的絕佳解決方案。TT-QuietBox 配備了AMD 的 EPYC 處理器和四張Wormhole n300加速卡，總共有 8 個(gè) Wormhole Tensix 處理器。這些處理器通過(guò)靈活的、基于以太網(wǎng)的網(wǎng)狀拓?fù)溥B接，該拓?fù)淇梢詳U(kuò)展以實(shí)現(xiàn) 96GB 內(nèi)存池。這使得TT-QuietBox能夠運(yùn)行多達(dá)約800億個(gè)參數(shù)的單用戶/單模型和多達(dá)約200億個(gè)參數(shù)的單用戶/多用戶、多個(gè)模型。TT-QuietBox 也由兩個(gè)開(kāi)源 SDK 支持，用于高級(jí) （TT-Buda） 或低級(jí) （TT-Metalium） 開(kāi)發(fā)。

TT-LoudBox 主要為希望運(yùn)行、測(cè)試和開(kāi)發(fā) AI 模型或移植和開(kāi)發(fā) HPC 庫(kù)的開(kāi)發(fā)人員提供卓越的性價(jià)比的解決方案。其配備了英特爾的Xeon處理器，和備四張Wormhole n300加速卡，總共有 8 個(gè) Wormhole Tensix 處理器，這種基于以太網(wǎng)的靈活網(wǎng)狀拓?fù)浣Y(jié)構(gòu)可以擴(kuò)展以實(shí)現(xiàn) 96GB 內(nèi)存池。這使得TT-LoudBox能夠運(yùn)行多達(dá)約800億個(gè)參數(shù)的單用戶/單模型和多達(dá)約200億個(gè)參數(shù)的單用戶/多用戶、多個(gè)模型。TT-LoudBox 也由兩個(gè)開(kāi)源 SDK 支持，用于高級(jí) （TT-Buda） 或低級(jí) （TT-Metalium） 開(kāi)發(fā)。

定價(jià)方面，Tenstorrent 的 Wormhole n150 零售價(jià)為 999 美元，Wormhole n150零售價(jià)為1,399 美元，這個(gè)價(jià)格要比市場(chǎng)競(jìng)爭(zhēng)對(duì)手的產(chǎn)品的便宜得多。TT-LoudBox 工作站零售價(jià)為 6,000 美元，而 TT-QuietBox 工作站的零售價(jià)為 15,000 美元。

小結(jié)：

從上面的介紹當(dāng)中，我們可以看到，雖然Tenstorrent的Wormhole n150芯片的算力并不高，與英偉達(dá)、AMD、英特爾的AI芯片仍有一定差距。作為對(duì)比，英偉達(dá)的H100在300W功率時(shí)其FP8的性能高達(dá) 1,670 TFLOPS（稀疏時(shí)為 3,341 TFLOPS），遠(yuǎn)高于160W功率下的Wormhole n150（262 TeraFLOPs ），也高于300W 功率下的Wormhole n300加速卡的算力（466 FP8 TFLOPS）。

雖然從紙面上看，Wormhole 系列AI芯片及加速卡性能不高，但 Tenstorrent 計(jì)劃通過(guò)提供巨大的可擴(kuò)展性來(lái)使其 AI 產(chǎn)品具有競(jìng)爭(zhēng)力。這意味著當(dāng)需要統(tǒng)一電源時(shí)，多個(gè)Wormhole 處理器可以作為一個(gè)單元運(yùn)行，或者它們也可以單獨(dú)使用，這一切都是因?yàn)槭褂昧艘蕴W(wǎng)互連，這是也是Jim Keller高度贊賞的。也就是說(shuō)，要達(dá)到類似英偉達(dá)H100的算力，可能需要4張Wormhole n300加速卡互聯(lián)就可以辦到。

并且，在價(jià)格方面，一張英偉達(dá)H100 加速卡的零售價(jià)高達(dá) 30,000 美元，而Wormhole n150的零售價(jià)僅為 999 美元，4張Wormhole n300加速卡的零售價(jià)也只有不到4000美元，僅為H100的約1/8。

Jim Keller此前也曾批評(píng)英偉達(dá)等公司的人工智能芯片昂貴，顯然Tenstorrent正是希望提供更具性價(jià)比的解決方案。

而Wormhole AI芯片之所以能夠做到具備更高的性價(jià)比，一個(gè)關(guān)鍵原因是因?yàn)槠洳⑽聪裼ミ_(dá)、AMD、英特爾的AI芯片那樣配備的大容量的HBM（高帶寬內(nèi)存），這是這些AI芯片關(guān)鍵組件，但是其成本高昂，并且功耗較高。而Wormhole AI芯片則是與Groq的LPU芯片一樣，選擇采用了高帶寬的片上SRAM，雖然其容量與常見(jiàn)的AI芯片中動(dòng)輒幾十GB、甚至上百GB容量的HBM差距巨大，但由于其直接是在集成在片內(nèi)的，無(wú)需將數(shù)據(jù)從GPU到HBM來(lái)回搬運(yùn)，數(shù)據(jù)處理速度更快、更高效、功耗也較低，綜合成本也更低。

Jim Keller認(rèn)為，全新方式可讓Tenstorrent芯片在部分AI應(yīng)用領(lǐng)域取代GPU及HBM。此外，Tenstorrent也會(huì)盡量提升產(chǎn)品成本效益。不過(guò)，Jim Keller也坦言想要?jiǎng)訐u目前規(guī)模日益龐大的HBM產(chǎn)業(yè)，恐怕需要花上數(shù)年時(shí)間。他預(yù)測(cè)，未來(lái)將有更多新興AI芯片公司進(jìn)入英偉達(dá)目前還無(wú)法服務(wù)到的AI市場(chǎng)，但不是出現(xiàn)單獨(dú)一家完全取代英偉達(dá)的企業(yè)。

編輯：芯智訊-浪客劍