Arm Tech Symposia 2024：Arm強調軟體先決發展策略，目標在2025年達到1000億AI裝置壯舉

Arm在Tech Symposia 2024科技論壇分享公司與AI技術發展策略，將自己定位為平台公司，提供完整運算單元組合與軟體框架。

硬體之外，軟體先決！

Arm北美業務副總裁曾志光在活動開場時，表示Arm做為運算平台公司，致力將AI推向每個角落，並攜手合作夥伴釋放AI的潛力，此外也加強與軟體開發者的溝通，並舉辦軟體工作坊活動以加強交流。

延伸閱讀：
Computex 2024：Arm發表終端產品運算子系統，全新Cortex-X925搭配Immortalis-G925效能提升高達36%
Computex 2024：Arm CEO Keynote重點整理，推動更全面的軟體、硬體生態系統
Arm Tech Day 2024解析終端產品運算子系統（3）：完整軟體開發工具靠處理器就能加速AI

Arm資深副總裁暨終端產品事業部總經理Chris Bergey在主題演說中除了再次以平台公司（Platform Company）描述Arm，說明Arm具有CPU（中央處理器）、GPU（繪圖處理器）、NPU（神經處理器）等異質運算單元，能夠透彈性組合提供多元解決方案，但所有的硬體都需要搭配軟體，而軟體並不是魔法，需要開發者編寫程式，而Kleidi軟體函式庫就是個可以簡化軟體開發流程，且能發揮各種運算單元的運算能力，並依不同架構的CPU套用NEON、SVE2、SME等延伸指令集，提供最佳化AI運算效能。

活動也邀請MediaTek通訊事業部副總經理陳一強、Amazon Web Services台灣暨香港總經理王定愷對談，前者以近期發表的Dimensity 9400為例說明透過Armv9.2架構強化效能與AI圖像生成，後者則提到採用Arm Neoverse架構的AWS Graviton4處理器，以強大的AI與ML效能提供領先業界的效能、彈性與效率。

▲ Arm北美業務副總裁曾志光為活動開場。

▲ 曾志光表示Arm舉辦多場軟體溝通會、工作坊活動以加強與開發者的交流。

▲ Arm資深副總裁暨終端產品事業部總經理Chris Bergey在Tech Symposia 2024發表主題演說。

▲ Chris Bergey提到台灣位於AI的中心，90%的高階晶片皆來自台灣。（投影片攝自活動現場，畫質不佳敬請見諒，下同）

▲ Arm與Microsoft、軟體生態系統夥伴密切合作，推出更多原生Arm架構的Windows應用程式。

▲ Kleidi函式庫能在多種Arm異質運算單元上執行，也支援多種AI運算框架，有助於簡化軟體開發並達成效能最佳化。

▲ Chris Bergey提出在2025年底達成1000億個Arm裝置能夠執行AI應用程式的目標。

▲ MediaTek通訊事業部副總經理陳一強表示智慧型手機等行動裝置具備執行4B參數的大語言模型（LLM）的能力，也能進行AI圖像生成等應用。

▲ Amazon Web Services台灣暨香港總經理王定愷表示AWS提供多種Graviton4處理器驅動的執行個體選擇，能夠搭配多種AI運算框架使用。

鼓勵台灣把握邊緣AI發展機會

前Google台灣董事總經理簡立峰博士也受邀於主題演講壓軸登台，分享他對AI發展趨勢的觀點。簡立峰認為評估AI「能力」的關鍵在於推理能力（Reasoning），當AI具有一定程度的推理能力時，它就能自主「學習、理解」更多事物，並自我進化。

簡立峰舉例，以往老闆想要做某些事，但他又不懂、沒有能力時，只要丟一些書給員工，命令他們把書讀懂並完成任務即可。而現在人們也可以命令AI去「讀書」，讓AI自主取得更多知識與能力，如果AI分析完1億冊書籍（相當於100座大學圖書館的藏書），那麼它就能生成更具參考價值的回應。

簡立峰舉另一個例子，如果有個執行於筆記型電腦或智慧型手機的AI應用程式，可以透過課堂的錄音、錄影自動幫學生整理筆記，甚至在AI系統「學習」到課堂上的知識之後，還能寫作業甚至寫考卷，那麼學生可就輕鬆了。

聽起來很像天方夜譚嗎？其實現在Google推出的NotebookLM服務已經可以達成上述的使用情境。這已經是現在進行式，看來家長可能要有些不開心了。

簡立峰也提到，目前NotebookLM仍屬於免費試用階段，但未來應該會開始收費，其中原因不外乎使用這些雲端AI服務的時候，仍需負擔要資料中心建置與維護、運作電力等成本，只是目前由Google自行吸收。

如果將這類服務轉換為能在使用者電腦或手機上執行的邊緣運算AI應用程式，就能大幅分擔這些成本（或是說使用者自行負擔），而且對於電力的使用需求也從原本的集中在資料中心，轉變為分散至位於不同區域的使用者，能夠降低發電廠、電網等基礎設施的負擔。

這波邊緣AI運算也是台灣產業的一大商機，簡立峰表示台灣廠商很擅長生產硬體，但是對軟體、軟硬整合等服務則有待加強，鼓勵廠商應把握機會發揮創意，研發更多能夠解決方案與產品。

▲ 前Google台灣董事總經理簡立峰博士於主題演講中暢談AI觀點。

▲ 簡立峰表示當AI具有接近人類的推理能力後將會大幅改變AI的功能與應用。圖表為AI能力發展趨勢，縱軸的0.0代表人類基準能力，可以看到2020年開始AI的語言與閱讀理解能力已經達到人類能力。

▲ AI模型發展的趨勢朝向大者更大以提供更精準、強大的功能，小者更小則適合在小型裝置執行或節省電力。邊緣AI、機器人AI等領導的軟硬體整合是台灣可以把握的產業發展機會。

▲ 量體較小的邊緣AI特色為運算需求較低，執行時消耗的電力也比較低，並且可以部署到不同地點，降低單一區域的電力負荷。

▲ 不同參數量體的LLaMA模型之各種能力指標的對比，其中100%為65B參數之標準化基準。例如7B的平均能力為65B的65%，閱讀理解能力為90%。

▲ Chris Bergey在QA訪談中與媒體進行意見交流。

▲ Arm在活動會場展示以FPGA開發板透過Cortex-M55 CPU搭配Ethos-U85 NPU執行0.15B參數的Llama2-tiny模型。

▲ 以TinyStories資料集為基礎的功能讓使用者輸入提示詞後，Llama2 會生成剩餘的故事內容。在時脈為32 MHz的FPGA開發板之效能為每秒約7.84組字詞（Token）。

Chris Bergey也在主題演講後與媒體進行QA訪談，但是對於大家都很感興趣的Qualcomm訴訟事件相關提問，僅回應「請參考公司聲明」。不過他同樣也鼓勵台灣廠商，應該跳脫硬體為主的思維（Think out of hardware.），並再次強調Arm是軟體先決（Software first）的公司，言下之意就是重申自家優勢，並期望雙方能擦出火花。

在活動會場的展示區，Arm展示了透過Cortex-M55 CPU搭配Ethos-U85 NPU執行0.15B參數的Llama2-tiny模型開發板作為概念性驗證（Proof of Concept，POC），證明在透過電池驅動的小行裝置或穿戴式裝置也能執行生成示AI，如果能將這些AI用於解決生活中的問題，就是前述軟硬整合的實踐。