超高效AI模型，在CPU上運(yùn)行

微軟研究人員剛剛創(chuàng)建了 BitNet b1.58 2B4T，這是一個(gè)開源的 1 位大型語言模型 (LLM)，擁有 20 億個(gè)參數(shù)，基于 4 萬億個(gè)詞元進(jìn)行訓(xùn)練。該 AI 模型的獨(dú)特之處在于其輕量級(jí)設(shè)計(jì)，能夠在 CPU 上高效運(yùn)行，TechCrunch 稱 Apple M2 芯片也能運(yùn)行該模型。該模型也可在 Hugging Face 上輕松獲取，任何人都可以進(jìn)行實(shí)驗(yàn)。

Bitnets 使用 1 位權(quán)重，且只有三個(gè)可能值：-1、0 和 +1——由于支持三個(gè)值，從技術(shù)上講，它是一個(gè)「1.58 位模型」。與采用 32 位或 16 位浮點(diǎn)格式的主流 AI 模型相比，這節(jié)省了大量?jī)?nèi)存，使其能夠更高效地運(yùn)行，并減少對(duì)內(nèi)存和計(jì)算能力的需求。然而，Bitnet 的簡(jiǎn)潔性也有一個(gè)缺點(diǎn)——與大型 AI 模型相比，它的準(zhǔn)確性較低。不過，BitNet b1.58 2B4T 憑借其海量訓(xùn)練數(shù)據(jù)（估計(jì)超過 3300 萬冊(cè)書籍）彌補(bǔ)了這一缺陷。

這款輕量級(jí)模型背后的團(tuán)隊(duì)將其與領(lǐng)先的主流模型進(jìn)行了比較，包括 Meta 的 LLaMa 3.2 1B、谷歌的 Gemma 3 1B 和阿里巴巴的 Qwen 2.5 1.5B。BitNet b1.58 2B4T 在大多數(shù)測(cè)試中都比這些模型取得了相對(duì)不錯(cuò)的成績(jī)，甚至在一些基準(zhǔn)測(cè)試中獲得了最高榮譽(yù)。更重要的是，它僅消耗了 400MB 的非嵌入式內(nèi)存，不到第二小模型（Gemma 3 1B）1.4 GB 內(nèi)存的 30%。

然而，LLM 必須使用 bitnet.cpp 推理框架才能高效運(yùn)行。該團(tuán)隊(duì)特別指出，「即使使用必要的 fork，該模型與標(biāo)準(zhǔn) Transformer 庫一起使用時(shí)，也不會(huì)獲得性能效率提升」。

如果您想在輕量級(jí)硬件上充分利用其優(yōu)勢(shì)，則需要獲取 GitHub 上提供的框架。該存儲(chǔ)庫將 bitnet.cpp 描述為「提供一套優(yōu)化的內(nèi)核，支持在 CPU 上快速無損地推理 1.58 位模型（后續(xù)將支持 NPU 和 GPU）。雖然它目前不支持 AI 專用硬件，但它仍然允許任何擁有計(jì)算機(jī)的人在無需昂貴組件的情況下進(jìn)行 AI 實(shí)驗(yàn)。

人工智能模型常常因訓(xùn)練和運(yùn)行耗能過高而受到詬病。但輕量級(jí)的 LLM（例如 BitNet b1.58 2B4T）可以幫助我們?cè)谛阅茌^弱的硬件上本地運(yùn)行人工智能模型。這可以減少我們對(duì)大型數(shù)據(jù)中心的依賴，甚至讓那些無法使用內(nèi)置 NPU 的最新處理器和最強(qiáng)大 GPU 的人也能使用人工智能。

可以看到，微軟正在 AI 領(lǐng)域做更多的探索。前不久，微軟正將旗下多項(xiàng)人工智能功能全面開放給搭載英特爾和 AMD 芯片的 Copilot Plus PC。此前，這些先進(jìn)的 AI 特性主要面向配備高通芯片的同類電腦。此次功能更新中最引人注目的是「實(shí)時(shí)字幕」（Live Captions）。這項(xiàng)功能能夠?qū)崟r(shí)將數(shù)十種不同語言的音頻翻譯成英文字幕。微軟早在去年 12 月就開始在搭載英特爾和 AMD 芯片的設(shè)備上測(cè)試該功能，而現(xiàn)在，通過最新的 Windows 11 更新，所有符合條件的 Copilot Plus PC 用戶都可以使用這個(gè)強(qiáng)大的工具。

除了實(shí)時(shí)字幕外，本次更新還包括了畫圖應(yīng)用（Paint）中的 AI 工具「協(xié)同創(chuàng)作者」（Cocreator）。用戶只需輸入文字描述，并結(jié)合當(dāng)前的繪畫內(nèi)容，協(xié)同創(chuàng)作者便能生成相應(yīng)的圖像。此外，微軟還將進(jìn)一步擴(kuò)大照片應(yīng)用中 AI 圖像編輯器和生成器的使用權(quán)限，讓更多用戶能夠輕松進(jìn)行智能圖像處理和創(chuàng)作。

值得注意的是，此前這些 AI 功能僅在采用高通芯片的 Copilot Plus PC 上提供。微軟去年已開始在英特爾和 AMD 設(shè)備上測(cè)試另一項(xiàng)名為「Recall」的 AI 功能。該功能可以截取用戶在 Copilot Plus PC 上的活動(dòng)屏幕截圖，并允許用戶進(jìn)行搜索。盡管如此，微軟尚未公布 Recall 功能何時(shí)能夠正式向所有用戶開放。

與此同時(shí)，微軟還在搭載高通芯片的 Copilot Plus PC 上更新了「語音訪問」（Voice Access）功能。這是一項(xiàng)輔助功能，旨在幫助用戶通過語音控制電腦。微軟表示，使用高通芯片設(shè)備的語音訪問用戶現(xiàn)在將能夠「使用更具描述性和靈活性的語言與他們的電腦進(jìn)行交流」。此外，本次更新還新增了將 27 種語言翻譯成簡(jiǎn)體中文的功能。微軟方面透露，計(jì)劃在未來將這兩項(xiàng)語音訪問的更新推廣到搭載英特爾和 AMD 芯片的設(shè)備上。