Arm發表全新Cortex-A320邊緣AI平台，解放記憶體限制支援大語言模型

Arm於邊緣AI平台發表會介紹全新Cortex-A320處理器與搭配的邊緣AI平台，為以電池驅動的IoT裝置帶來更多元且具彈性的AI運算IP搭配組合。

首款為IoT設計的Armv9架構處理器

Arm邊緣AI平台發表會由Arm應用工程總監徐達勇開場，Arm物聯網事業部亞太區資深經理黃晏祥主講，Arm主任應用工程師並與林宜均共同進行會後問答訪談。

延伸閱讀：
Arm推出Ethos-U85 NPU與Corstone-320參考設計平台，強化物聯網裝置AI效能
Computex 2024：Arm CEO Keynote重點整理，推動更全面的軟體、硬體生態系統
Arm Tech Day 2024解析終端產品運算子系統（3）：完整軟體開發工具靠處理器就能加速AI

Arm於2024年發表Ethos-U85 NPU（神經運算單元），能與Cortex-M系列微控制器協同運作，強化小型或以電池驅動的IoT（物聯網）裝置之AI運算能力，這次推出的Armv9架構邊緣AI運算平台以全新的Cortex-A320處理器搭配Ethos-U85為核心，針對IoT應用進行最佳化，並可支援超過10億個（1B）參數的AI模型，能夠透過Armv9架構提高IoT應用的效能、電力效率和安全性，推動工業自動化、智慧相機等領域的發展。

另一方面，Arm也將Kleidi AI函數庫延伸至IoT領域，除了有助於無縫整合AI運算框架以簡化開發流程，也能達到最高70%的運算效率增益。

▲ Arm邊緣AI平台發表會由黃晏祥、徐達勇、林宜均（左起）共同主持。

▲ Arm分享透過PlumerAI公司透過Helium技術與Ethos NPU打造智慧門鈴的範例，能夠提供人物辨識、移動檢測、相關事件識別等功能￮未來結合大型語言模型還能產生即時事件通知，讓功能更加豐富。

▲ 全新邊緣AI平台除了提升AI運算效能之外，還能享有Armv9架構帶來的高度安全性，降低連接至網路的IoT裝置之資安風險。

▲ 由Cortex-A320處理器搭配Ethos-U85 NPU為核心的邊緣AI平台能夠支援超過10億個（1B）參數的AI模型。

效能提升兼顧省電

Cortex-A320的特色就是具有出色的電力效率，能應用於供電、尺寸限制較高的應用情境，滿足極省電、電池驅動、小尺寸等應用需求。

另一方面，Cortex-A320也適合作為取代Cortex-M85微控制器的升級選項，除了能享有Armv9架構帶來的效能、安全性等優勢之外，最大的好處在於能夠搭配容量更大的外部DRAM記憶體，而非受限於Cortex-M85內建容量較小的SRAM記憶體，滿足動輒需要數GB記憶體的大型語言模型（Large Language Model，LLM）之執行需求，賦予IoT裝置更多元豐富的應用潛力。

▲ 將運算單元由Cortex-M85轉換為Cortex-A320的一大優勢是能夠搭配DRAM作為系統記憶體，大幅提高支援的AI模型參數規模。

▲ Cortex-A320最高能將機器學習（Machine Learning，ML）效能提高至Cortex-A35的10倍，並帶來30%純量運算的效能。與Cortex-A520相比的電力效率則高出50%。

▲ 有Armv9架構具有多項資安功能，也透過矩陣乘法新指令、SVE2（可擴展向量延伸指令集）並支援BFloat16資料類型提升AI運算的效能。

▲ Arm透過新加入的Cortex-A320，補齊Armv9架構陣容中超高電力效率的產品。

▲ 在透過Llama.ccp執行Tiny Stories語言模型的使用情境中， 搭配Kleidi AI函數庫能為Cortex-A320帶來70%效能增益。

▲ Cortex-A320不但支援Linux、Android以及多種一般作業系統（Rich OS）之外，也支援FreeRTOS、Zephyr等即時作業系統（RTOS）。

▲ Cortex-A320的省電特性讓它也能作為Cortex-M85的升級選項，帶來更高的安全性、機器學習效能與記憶體擴充性。

▲ Arm提供多種不同處理器產品組合，能夠滿足上至資料中心、下至穿戴式裝置的運算需求，並為包含環境保育與監測、醫療應用在內的多種應用情境提供充沛的AI運算效能。

Arm預測未來的AI發展趨勢中，邊緣運算的角色將會日益重要，全新Arm邊緣AI運算平台能夠實現在IoT裝置執行經過調校的大型語言模型以及參數數量相對較低的小型語言模型，拓展全新的使用方式，並讓智慧決策將更接近資料獲取的源頭位置，最大幅度降低延遲並有效提升隱私保護。