小語言模型 文章 進(jìn)入小語言模型技術(shù)社區(qū)

Arm Ethos-U85 NPU：利用小語言模型在邊緣側(cè)實(shí)現(xiàn)生成式AI

• 隨著人工智能?(AI)?的演進(jìn)，利用小語言模型?(SLM)?在嵌入式設(shè)備上執(zhí)行?AI?工作負(fù)載成為業(yè)界關(guān)注的焦點(diǎn)。Llama、Gemma?和?Phi3?等小語言模型，憑借其出色的成本效益、高效率以及在算力受限設(shè)備上的易部署性，贏得了廣泛認(rèn)可。Arm?預(yù)計這類模型的數(shù)量將在?2025?年繼續(xù)增長。Arm?技術(shù)以其高性能與低功耗的顯著優(yōu)勢，為小語言模型提供了理想的運(yùn)行環(huán)境，能夠有效
• 關(guān)鍵字： Arm  Ethos-U85  NPU  小語言模型  生成式AI