微軟公司今日宣布推出 Mu ，這是一款內(nèi)置于 Windows 11的新型設(shè)備端小型語言模型。該模型旨在為用戶提供更加智能和自然的語言交互體驗(yàn)，進(jìn)一步優(yōu)化系統(tǒng)設(shè)置中的搜索功能。
去年，微軟曾推出搭載專用神經(jīng)處理單元（NPU）的 Copilot + 個(gè)人電腦，該 NPU 算力超過 40 TOPS。這些電腦配備了 Phi - Silica，一款用于在設(shè)備上為微軟第一方應(yīng)用程序以及第三方開發(fā)者應(yīng)用程序提供語言智能功能的本地 SLM（小型語言模型）。
如今，微軟在 Windows 11 中引入了 Mu，這是一款全新的本地小型語言模型。微軟的目標(biāo)是創(chuàng)建一個(gè)基于人工智能的智能代理，使其能夠理解用戶的自然語言查詢，并將其無縫集成到系統(tǒng)設(shè)置應(yīng)用中現(xiàn)有的搜索框內(nèi)，從而為用戶提供更加流暢的使用體驗(yàn)。為此，微軟利用 Mu 模型為設(shè)置應(yīng)用中的新代理功能提供支持，該功能最近已在開發(fā)頻道向 Windows 預(yù)覽體驗(yàn)計(jì)劃成員開放，且僅限于使用 Copilot + 個(gè)人電腦的用戶使用。
據(jù)IT之家了解，與 Phi - Silica 類似，Mu 被設(shè)計(jì)為能夠在 NPU 上高效運(yùn)行，能夠在本地以每秒超過 100 個(gè) token 的速度運(yùn)行。在官方博客文章中，微軟詳細(xì)介紹了 Mu 語言模型的設(shè)計(jì)和訓(xùn)練過程。以下是 Mu 語言模型的概要信息：
Mu 是一款擁有 3.3 億參數(shù)的編碼器 - 解碼器語言模型。與同尺寸的解碼器模型相比，編碼器 - 解碼器架構(gòu)能夠?qū)⑹?token 延遲降低約 47%，并將解碼速度提高 4.7 倍。Mu 在某些組件中采用了權(quán)重共享技術(shù)，以減少總參數(shù)數(shù)量。微軟利用 NVIDIA A100 GPU 在 Azure 機(jī)器學(xué)習(xí)平臺上對 Mu 進(jìn)行了訓(xùn)練。盡管 Mu 的尺寸僅為 Phi - 3.5 - mini 的十分之一，但其性能幾乎與經(jīng)過類似微調(diào)的 Phi - 3.5 - mini 相當(dāng)。此外，該模型更適合處理多詞查詢。對于短詞或部分詞輸入，系統(tǒng)設(shè)置應(yīng)用仍會(huì)在搜索框中顯示詞匯和語義搜索結(jié)果。
對于有興趣體驗(yàn)這一全新人工智能代理功能的用戶，可以下載 Windows 11 Build 26120.3964（KB5058496）或更高版本，以體驗(yàn) Windows 設(shè)置應(yīng)用中的這一新功能。 
