Xilinx AI 加速+阿里云 FaaS：開啟云端 AI 推斷巨大機遇

中國是全球最大的在線零售市場，而阿里巴巴則是中國最大的電子商務(wù)公司。作為阿里巴巴集團旗下的云計算和數(shù)據(jù)智能部門，阿里云為國際客戶的在線業(yè)務(wù)及阿里巴巴集團自身的電子商務(wù)生態(tài)系統(tǒng)提供綜合全面的成套全球云計算服務(wù)。在公有云服務(wù)提供商市場上，阿里云的市場份額位居亞太地區(qū)首位。

阿里云的業(yè)務(wù)之一是為眾多第三方廠商處理海量產(chǎn)品圖像。由于一些圖像內(nèi)含有未付費廣告等多余文本信息，給付費廣告業(yè)務(wù)造成不利影響，因此，為了確保電子商務(wù)網(wǎng)站提供一致的體驗，需要以 AI 推斷對每天數(shù)千萬幅圖像中嵌入的有害文本或多余文本進行檢測，隨之而來的是巨大的 AI 推斷計算工作負載以及高昂的運營成本。

阿里巴巴過去使用 GPU 運行 Yolo-v2 Tiny（數(shù)據(jù)類型為 Float32），通過這種方法掌握每日千萬級的圖像內(nèi)容。由于該架構(gòu)未經(jīng)充分優(yōu)化，GPU 只能實現(xiàn)有限的每秒查詢次數(shù) (QPS) 吞吐量，導(dǎo)致用電成本高、服務(wù)器空間占用大。為了降低運營費用，阿里巴巴尋求比 GPU 成本更低的解決方案來檢測有害或多余的文本信息。

依托于賽靈思 16nm Virtex UltraScale+? FPGA 的高度自適應(yīng)架構(gòu)，阿里云 FaaS 團隊在 Int16 上運行 Yolo-v2 Tiny 模型，在媲美 GPU 精度的前提下實現(xiàn)一流的 QPS 性能。單片賽靈思 UltraScale+ FPGA 每秒能處理數(shù)百幅圖片，與最初的 GPU 實現(xiàn)方案相比性能提高 3.5 倍。在 FaaS 的啟發(fā)下，雖然GPU通過完成類似優(yōu)化也可以達到類似性能，但賽靈思解決方案的單幅圖像成本更低。除此之外，賽靈思 Vitis AI 在加快開發(fā)速度方面也有著上佳表現(xiàn)。

Vitis AI 支持開發(fā)者在無需編寫任何 RTL 代碼的情況下，優(yōu)化 DNN 模型并將預(yù)訓(xùn)練的 DNN 模型部署到賽靈思 FPGA 中。其運行時及外殼程序讓開發(fā)者無需成為 FPGA 專家就能夠充分從賽靈思硬件加速中獲益。

阿里巴巴云和智能FPGA異構(gòu)計算負責人張振祥負責領(lǐng)導(dǎo)該項目并成功在 F3 實例上實施了 AI 加速。

此外，張振祥還指出：“起初，很多人對于將 FPGA 用于 AI 領(lǐng)域的前景并不看好，因為 GPU 使用方便且支持所有框架。但是，阿里云與賽靈思合作充分證明了其實 FPGA 更適合該領(lǐng)域中的特定場景?！?/span>

▅   賽靈思 Vitis AI 堆棧

通過 FaaS 平臺，加上大量的 ISV 及獨立的 IP 開發(fā)商，FPGA 會在云端 AI 推斷領(lǐng)域迎來大量機遇。

阿里巴巴云和智能FPGA異構(gòu)計算負責人：張振祥

點擊了解 FPGA 實例概述。