時代落在英偉達(dá)身上的是粒什么沙，國產(chǎn)GPU的機(jī)會又在哪？

天道好輪回，蒼天饒過誰。近日英偉達(dá)稱，他們被要求停止向中國出口兩種用于數(shù)據(jù)中心的GPU A100和H100，AMD也表示，已經(jīng)收到新的要求，MI250出口到中國將會受限。A100，MI250等高端型號的GPU最主要特點(diǎn)就是可以提供雙精度FP64類型的算力，而國產(chǎn)GPU一般在FP16也就是半精度數(shù)據(jù)處理方面不差，在FP32類型的處理能力上表現(xiàn)就一般了，F(xiàn)P64幾乎是缺失的狀態(tài)。

這里的16，32是指輸入變量的位數(shù)，比如FP16是指一個由16個二進(jìn)制位所表示的變量，也就是說FP32與FP64的差距是2的32次方（42億）倍，這一方面將對我國人工智能領(lǐng)域的發(fā)展帶來一定影響，另一方面也會制約我國勘探、氣象、生物醫(yī)****等對于數(shù)據(jù)精度要求較高領(lǐng)域的發(fā)展速度，甚至很可能是之前EDA禁令的后手組合，不過無論這個政策的本意如何，現(xiàn)在這顆時代的沙卻讓英偉達(dá)非常受傷。

被誤傷的英偉達(dá)

8月25日英偉達(dá)公布了的二季度的財報和三季度的指引。從財報來看，二季度公司收入67億美元，同比增長3%，環(huán)比下降19%，大大低于英偉達(dá)5月份預(yù)測的81億美元。當(dāng)季GAAP下每股攤薄收益為0.26美元，比去年同期下降72%，比上一季度下降59%；調(diào)整后每股收益為0.51美元，較上年同期下降51%，較上一季度下降63%，公司游戲部門收入已經(jīng)大幅下滑，并且悲觀預(yù)計公司營收第三季度還將同比下降17%，導(dǎo)致其股價在盤后交易中下跌約5%。而在限制令出臺后，人們也越來越多擔(dān)心，此前支撐英偉達(dá)業(yè)績高速增長的數(shù)據(jù)中心業(yè)務(wù)未來將持續(xù)降溫，因此英偉達(dá)在上周又跌了近5%。

不過英偉達(dá)的業(yè)績墜落，主要還是因?yàn)轱@卡的供需關(guān)系出現(xiàn)逆轉(zhuǎn)，由于以比特幣為代表的數(shù)字貨幣價格一蹶不振，導(dǎo)致GPU顯卡的最大買方-“礦廠”大規(guī)模去產(chǎn)能，轉(zhuǎn)手成為賣方，這其中最明顯的信號就是自發(fā)布以來一直溢價銷售的RTX30系列GPU顯卡,在8月份瞬間打折也賣不出去了。

這次A100的限制令又將對英偉達(dá)的數(shù)據(jù)中心業(yè)務(wù)產(chǎn)生影響，因此英偉達(dá)的股價可能還難言底部。不過英偉達(dá)雖然很受傷，但是這對于限制令的初衷來說明顯屬于誤傷，真正的目標(biāo)還是人工智能和需要高精度數(shù)據(jù)模擬的工業(yè)軟件。

人工智能的影響-精益求精的訓(xùn)練，不求甚解的推理

最近經(jīng)常能夠看到計算機(jī)專業(yè)的結(jié)業(yè)生在社交平臺吐槽大廠的面試、筆試題難度卷出天際，但實(shí)際入職后所從事的工作，卻偏向于重復(fù)勞動式的搬磚，在我拿到今年某大廠算法崗的筆試題之后，的確印證了這種情況，但這種現(xiàn)象也說明了人們在學(xué)校里學(xué)習(xí)時對于精細(xì)度要求很高，但真正走向工作當(dāng)中雖然會急劇上升，但實(shí)際對于知識掌控精細(xì)度與全面度的要求卻下降了。

類比在人工智能方面，可以做以下解讀，一般來說人工智能分為訓(xùn)練和推理兩個階段，其中訓(xùn)練可以類比于人類的學(xué)習(xí)行為，一般在學(xué)習(xí)的過程中都要打破沙鍋問到底，力求精益求精；而推理則類比于所學(xué)知識的落地，一般都要留有模糊空間，乃至不求甚解的效果可能也不差。雖然這個類比不完全吻合，但是基本的道理是沒有差很多的，也就是模型訓(xùn)練時對精度的要求往往比AI推理時對精度的要求高得多。

從目前AI的發(fā)展趨勢來看，也的確有著“大力出奇跡”的跡象，比如谷歌科學(xué)家直接在T5的論文指出：“越大的模型往往表現(xiàn)更好。這表現(xiàn)擴(kuò)大規(guī)?？赡苋匀皇菍?shí)現(xiàn)更好性能的方式。”這一方面表現(xiàn)為的人工智能模型的參數(shù)規(guī)模越來越大，現(xiàn)在沒有個上千億參數(shù)的模型簡直都不好意思和人打招呼，比如那個會自動藝術(shù)創(chuàng)作的DALL.3參數(shù)規(guī)模突破1500億；

另一方面也是業(yè)界對于模型參數(shù)的精度要求越來越高，業(yè)界也越來越依賴高精度算力的處理能力提升。但是憑心而論很多模型都是精度要求過剩的，只要費(fèi)心優(yōu)化模型，這個限制令對于AI方面的影響尚不至于無解。

核心打擊方向-工業(yè)軟件

如果說人工智能方面降低精度還不會傷肋動骨，但是對于很多對于精度要求很高的領(lǐng)域來說這個限制令的打擊可能就難以承受了。其實(shí)早在芯片禁令之前，最早被西方列入限制清單的就是以MATLAB為首的工業(yè)軟件，而我們工業(yè)軟件差距最大的部分就在于仿真與模擬。這方面一是要長時間的經(jīng)驗(yàn)積累，另一方面對于算力精度的要求也比較高，精度下降往往意味著失之毫厘差以千里，對于醫(yī)療、氣象、勘探等領(lǐng)域的工業(yè)軟件來說尤其如此。

而且筆者認(rèn)為這次高端GPU的禁令很可能是之前EDA禁令的手續(xù)組合拳，EDA從本質(zhì)上講就是工業(yè)軟件，美國限制EDA的使用本質(zhì)上限制了我國自研先進(jìn)制程的芯片的制造進(jìn)程。而且我們看到目前國際EDA三巨頭都紛紛推出自己的AI FOR EDA產(chǎn)品，從公開資料上看新思科技推出的DSO.ai，就在探索搜索空間、觀察設(shè)計隨時間的演變情況,同時調(diào)整設(shè)計選擇、技術(shù)參數(shù)和工作流程，雖然這些AI FOR EDA的產(chǎn)品代碼都不開源，但是筆者認(rèn)為這些AI技術(shù)實(shí)際對于精度的要求肯定不低。

精度優(yōu)化-曲線救國的方向

正如前文所說，我國國產(chǎn)的GPU往往在雙精度類型FP64方面，目前都沒有什么突破性進(jìn)展，這在之前A100沒有限制之前還無所謂，但目前限制來了，針對半精度FP64乃至8位整數(shù)類型（int8)的專門優(yōu)化工作已經(jīng)勢在必行。

據(jù)筆者所知這方面業(yè)界已經(jīng)有所探討，以深度神經(jīng)網(wǎng)絡(luò)為例，神經(jīng)元可以抽象為對于輸入數(shù)據(jù)乘以權(quán)重以表示信號強(qiáng)度乘積加總，再由ReLU、Sigmoid等應(yīng)用激活函數(shù)調(diào)節(jié)，本質(zhì)是將輸入數(shù)據(jù)與權(quán)重矩陣相乘，并輸入激活函數(shù)，對于有三個輸入數(shù)據(jù)和兩個全連接神經(jīng)元的單層神經(jīng)網(wǎng)絡(luò)而言，需要把輸入和權(quán)重進(jìn)行六次相乘，經(jīng)典CNN中無論GEMM的矩陣乘法運(yùn)算還是卷積的乘加計算都是使用fp32也就是用32位字長的數(shù)字來表示的，在這種情況下如果我們可以使用int 8來作為輸入表示此以過程，其計算量至少可以下降75%。尤其在圖像處理的場景下，通常由fp32到int8的轉(zhuǎn)換，精度損失是低于1%的。因此在針對int8類型的計算加速也就是業(yè)界都在探討的話題。

這方面英特爾酷睿12代中的VNNI指令集很好的完成了這個加速的過程，比如火山引擎在VNNI的優(yōu)化下int8上實(shí)現(xiàn)了從人臉照片到三維模型的圖像映射。騰訊通過一個FP32向int8的轉(zhuǎn)換以及VNNI的加持，實(shí)現(xiàn)了一個可以實(shí)時生成用戶3D頭像的模型，在精度降低1%的情況下，性能還提升了4.23倍。另外英特爾和阿里云在Ice Lake上也針對自然語言處理的Transformer模型進(jìn)行了深度優(yōu)化，通過VNNI的加速實(shí)現(xiàn)了3倍的性能提升。

而且針對FP32向int8的轉(zhuǎn)換工作，英特爾提供一款名為LPOT的開源工具,使用LPOT用戶基本上不需要寫代碼，就可以直接將TensorFlow的模型，從FP32換成int8，同時保證非常高的精確性，這里推薦給大家。

寫在最后

無論是高精度GPU還是EDA是一種需要長時間積累才能取得突破的領(lǐng)域，而我們在IT基礎(chǔ)設(shè)施領(lǐng)域的研發(fā)力量太薄弱了，以EDA為例，國內(nèi)所有EDA廠商的研發(fā)人員加在一起可能都不到2000人，還不如Synopsys一家的開發(fā)力量強(qiáng)，想突破一要增加研發(fā)人員，二要沉下心來積累，結(jié)硬寨打硬仗，不要試圖走捷徑。