大語言模型推理 文章 最新資訊

芯原超低能耗NPU可為移動(dòng)端大語言模型推理提供超40 TOPS算力

• 芯原股份（芯原）近日宣布其超低能耗且高性能的神經(jīng)網(wǎng)絡(luò)處理器（NPU）IP現(xiàn)已支持在移動(dòng)端進(jìn)行大語言模型（LLM）推理，AI算力可擴(kuò)展至40 TOPS以上。該高能效NPU架構(gòu)專為滿足移動(dòng)平臺(tái)日益增長的生成式AI需求而設(shè)計(jì)，不僅能夠?yàn)锳I PC等終端設(shè)備提供強(qiáng)勁算力支持，而且能夠應(yīng)對智慧手機(jī)等移動(dòng)終端對低能耗更為嚴(yán)苛的挑戰(zhàn)。芯原的超低能耗NPU IP具備高度可配置、可擴(kuò)展的架構(gòu)，支持混合精度計(jì)算、稀疏化優(yōu)化和并行處理。其設(shè)計(jì)融合了高效的內(nèi)存管理與稀疏感知加速技術(shù)，顯著降低計(jì)算負(fù)載與延遲，確保AI處理流暢、響應(yīng)
• 關(guān)鍵字： 芯原  NPU  大語言模型推理  NPU IP