玄鐵趙思齊：RISC-V AME面向AI應(yīng)用的高擴(kuò)展性矩陣擴(kuò)展

7月18日，第五屆RISC-V中國峰會(huì)在上海進(jìn)入分論壇環(huán)節(jié)。作為未來電子產(chǎn)業(yè)最龐大的應(yīng)用范疇之一，人工智能是不可回避的話題。人工智能的飛速發(fā)展，正以年均超過100%的算力需求增長(zhǎng)驅(qū)動(dòng)底層架構(gòu)的革新，“開放、靈活、可定制”的RISC-V已成為構(gòu)建自主AI算力基石的戰(zhàn)略支點(diǎn)。人工智能分論壇邀請(qǐng)各方企業(yè)探討RISC-V架構(gòu)如何利用其開源、開放、可擴(kuò)展的特性，實(shí)現(xiàn)AI計(jì)算架構(gòu)的革新，以及RISC-V架構(gòu)在AI軟硬件的最新進(jìn)展和應(yīng)用落地情況。 

RISC-V生態(tài)已經(jīng)存在好幾種Matrix架構(gòu)，阿里巴巴達(dá)摩院技術(shù)專家、RISC-V國際基金會(huì)AME TG主席趙思齊在分論壇上詳細(xì)介紹了RISC-V面向AI應(yīng)用的高擴(kuò)展性矩陣擴(kuò)展的最近進(jìn)展，同時(shí)分享了關(guān)于AME本身及AME內(nèi)部正在發(fā)生的一些事情，帶給現(xiàn)場(chǎng)觀眾一些更詳細(xì)、更具體的對(duì)于未來“AME會(huì)是什么”的一個(gè)想像。 

AME擴(kuò)展的指令作為CPU指令流的一部分，趙思齊首先澄清一點(diǎn)，AME擴(kuò)展不是加速器，或者它主要設(shè)計(jì)目的不是加速器。我們并不排除AME可以被用在加速器上，但是它的目標(biāo)仍然是為了加速、并且在CPU上面程序的矩陣運(yùn)算。AME擴(kuò)展是為矩陣運(yùn)算提供額外的架構(gòu)狀態(tài)，即軟件可見的矩陣寄存器，同時(shí)AME擴(kuò)展提供新增的矩陣和向量運(yùn)算指令。為什么除了矩陣指令外還需要向量指令？趙思齊介紹，在AI時(shí)代，RISC-V生態(tài)圍繞AI做了很多的工作，來自于A的需求使得AME 要引入很多至少是必要的向量運(yùn)算指令。

       AME擴(kuò)展以AI應(yīng)用為主要目標(biāo)，兼顧HPC和嵌入式應(yīng)用場(chǎng)景。這對(duì)AME的擴(kuò)展性提出了不少的要求。AME為RISC-V架構(gòu)引入了新的架構(gòu)狀態(tài)，使得AME是最少受到限制的一種Matrix擴(kuò)展，因此對(duì)AME的期望在極端情況下可以有極高的期望，它可以有極致的吞吐、極致的能效、極致的擴(kuò)展性和軟件支持度，它也應(yīng)該有非常軟件的應(yīng)用程序支持。關(guān)于“應(yīng)用程序支持”，Matrix軟件棧的總體支持RISC-V基金會(huì)內(nèi)部已經(jīng)把這個(gè)工作提到相當(dāng)?shù)母叨?，所以我們?cè)谖磥砜梢詫?duì)于這方面的工作有一定的期待。 

AME擴(kuò)展到底應(yīng)該有什么樣的特點(diǎn)才能達(dá)到我們對(duì)它的美好愿景呢？首先趙思齊強(qiáng)調(diào)，以AI為重點(diǎn)的全新設(shè)計(jì)，為矩陣運(yùn)算量身定制全新的架構(gòu)定義針對(duì)AI應(yīng)用重點(diǎn)設(shè)計(jì)。其次，靈活的集成方式讓SoC平臺(tái)可以自由選擇CPU核與AME單元的比例，自由定制算力。然后是，更靈活的實(shí)現(xiàn)，更少的對(duì)微架構(gòu)設(shè)計(jì)的修改，更多可能的實(shí)現(xiàn)方式。AME這個(gè)單元本身的算力、本身的特性，也能夠依據(jù)各家SoC廠商、依據(jù)自己的應(yīng)用場(chǎng)景需進(jìn)行定制，AME本身也是具有更靈活實(shí)現(xiàn)的架構(gòu)。最后就是更高的極致性能，提供獨(dú)立的運(yùn)算單元，更多的架構(gòu)創(chuàng)新，比如更加放的內(nèi)存模型。AME因?yàn)槭侵匦麻_發(fā)的、從頭開始的，極致情況下AME應(yīng)該可以再到與投入硬件資源成比例的算力。架構(gòu)層次因?yàn)锳ME是全新開始的設(shè)計(jì)，在架構(gòu)層面上AME也能夠容納更多ISA層面的創(chuàng)新指令。 

作為AME TG的主席，趙思齊還分享了AME TG的工作討論點(diǎn)，他介紹，工作組當(dāng)前的議題和任務(wù)包括了矩陣tile狀態(tài)設(shè)計(jì)討論，Point-wise/Element-wise操作相關(guān)的定義討論，以及Relaxed內(nèi)存模型。他還透露這個(gè)工作組現(xiàn)在努力的在為明年大概3月左右推出一個(gè)指令在努力。

    矩陣討論關(guān)注的焦點(diǎn)首先是它的類型需要什么？到底是只有一種Tile通用的、對(duì)稱的Tile，還是需要將某些Tile獨(dú)立出來專門用于累加計(jì)算？這是一個(gè)問題。第二個(gè)問題是Tile的形狀到底是什么形狀的？如果是各種形狀，每邊的長(zhǎng)度應(yīng)該怎么設(shè)計(jì)？還有一個(gè)問題就是Tile到底要多少？這些我們正在進(jìn)行組里分析，提取出一些能夠?qū)@些架構(gòu)參數(shù)進(jìn)行約束的條件，以期望能夠?qū)⒆罱K候選的組合縮小到一個(gè)或者幾個(gè)，以便于最后AME到底能夠成立成什么樣子。

    Point-wise的設(shè)計(jì)也有三個(gè)點(diǎn)：（1）Point-wise/Element-wise操作類型。（2）如何利用架構(gòu)狀態(tài)表示向量。（3）與Vector擴(kuò)展如何配合？

    這些也是非常密集的對(duì)AI模型、AI模型里面的算子進(jìn)行大量的分析和提取工作，能夠最終獲得一些對(duì)架構(gòu)設(shè)計(jì)的約束條件、最終達(dá)到問題的解決。