Arm 控股有限公司喺2025年2月26號發布咗全球首個 Armv9 邊緣 AI 運算平台,呢個平台以全新嘅 Arm Cortex-A320 CPU 同領先嘅邊緣 AI 加速器 Arm Ethos-U85 NPU 為核心,支援運行超過 10 億個參數嘅端側 AI 模型。呢個平台專為物聯網(IoT)應用而設,唔單止將 AI 同機器學習(ML)技術帶到邊緣端,仲提供咗強大嘅安全功能,涵蓋高效能設計到電源效率最佳化嘅設備,吸引咗亞馬遜(AWS)、西門子、瑞薩電子等一眾行業領袖合作。
Arm 喺呢次發布中提到,邊緣 AI 運算平台解決咗軟件開發同部署嘅複雜性問題,係普及邊緣 AI 嘅一大挑戰。透過將 Arm Kleidi 技術擴展到物聯網領域,開發者唔需要額外操作,就可以簡化 AI 同 ML 工作負載嘅部署。KleidiAI 已經同 Llama.cpp、ExecuTorch 同 LiteRT 等主流 AI 框架整合,令 Meta Llama 3 同 Phi-3 等模型嘅效能提升高達 70%。呢啲改進讓開發者可以更容易喺邊緣設備上運行大型 AI 模型,實現更快嘅智慧決策同更強嘅隱私保護。
新平台採用咗 Armv9.2 架構,Cortex-A320 CPU 比前代 Cortex-A35 喺機器學習效能上提升咗 10 倍,純量效能亦上升咗 30%。Ethos-U85 NPU 支援 Transformer 運算子網絡,相比去年基於 Cortex-M85 嘅平台,機器學習效能提升咗 8 倍。呢啲技術突破唔單止提升咗運算能力,仲為邊緣設備提供咗更強嘅安全防護,例如指標驗證(PAC)、分支目標識別(BTI)同記憶體標籤擴充(MTE),特別適合喺暴露環境中運行同處理敏感資料嘅邊緣設備。
Arm 亞太區 IoT 市場資深經理黃晏祥話,邊緣 AI 目前主要用喺非大語言模型(LLM)領域,例如影像辨識同線性模型,但預計喺未來一至兩年,基於 LLM 嘅邊緣 AI 會越嚟越普及。呢啲設備將可以透過文字或語音指令操作,甚至用聲音辨識進行安全監控,應用場景包括自動駕駛汽車喺工廠環境中嘅精準導航、智慧相機透過軟件升級靈活調整功能,以及提供更自然 AI 互動體驗嘅人機界面。Arm 仲同 Meta 合作推出咗 ExecuTorch Beta 版,確保從 1 億到 90 億參數嘅 Llama 大語言模型都可以喺 Arm 架構上順暢運行,進一步推動咗邊緣 AI 嘅普及。
Arm 應用工程總監徐達勇強調,邊緣 AI 嘅優勢包括低延遲、隱私保護同可靠性,但同時亦面對資源同功耗限制嘅挑戰。Armv9 邊緣 AI 運算平台透過整合高效能硬件同優化軟件生態系統,為開發者提供咗一個簡單易用嘅解決方案,幫助佢哋快速應對物聯網應用嘅運算需求。呢個平台唔單止標誌住邊緣運算嘅重要里程碑,仲為未來嘅智慧城市、工業自動化同其他創新應用鋪平咗道路。來源:https://www.infoq.cn/article/YW5EeTCiYz1oESvJd1t4