微軟推出專為 Copilot+ PC NPU 設計的 33 億參數模型 Phi-Silica

微軟正在投資開發更多小型語言模型 (SLM) 。在 Build 開發者大會上，該公司宣布了 Phi-3 模型的全面可用性，並預覽了 Phi-3-vision。然而，緊隨微軟 Copilot+ PC 消息之後，它推出了一款專門為這些設備的強大神經處理單元 (NPU) 打造的 SLM。

Phi-3-Silica 將嵌入到 6 月開始銷售的所有 Copilot+ PC 中。它是所有 Phi 模型中最小的，具有 33 億個參數。

微軟聲稱，第一個 token 的延遲為每秒 650 個 token，耗電約 1.5 瓦，這意味著它不會占用大量資源，並釋放 PC 的 CPU 和 GPU 來處理其他運算。此外，它的 token 生成重用了 NPU 的 KV 快取，並將在 CPU 上運行，產生大約每秒 27 個 token。

微軟發言人告訴說，Phi-Silica 的不同之處在於「它是 Windows 首個本地部署的語言模型。它經過最佳化，可在 Copilot + PC NPU 上運行，為您的設備帶來閃電般快速的本地推理。這個里程碑象徵著將先進的AI直接帶給第三方Windows開發者的關鍵時刻，這些開發人員針對 Windows 進行了最佳化，他們可以開始構建出色的第一方體驗（微軟自己開發和提供的應用程式、服務和體驗）和第三方體驗（第三方開發者/合作夥伴開發，但運行在微軟平台上的應用程式、服務和體驗），微軟的這個新模型將幫助開發者在Windows平台上打造更好的AI應用，讓使用者在今年秋天就能體驗到更強大、更易用的功能。

• 延伸閱讀：OpenAI大型語言模型太花錢，傳微軟Copilot正自行開發更小更便宜的「小型語言模型」SLM
• 延伸閱讀：ChatGPT對手再+1，Meta 宣布 AI 語言模型 LLaMA 體積更小性能更好