|
Arm 正在與 Meta 公司的 PyTorch 團隊攜手合作，共同推進新的 ExecuTorch 測試版 (Beta) 上線，旨在為全球數(shù)十億邊緣側(cè)設(shè)備和數(shù)百萬開發(fā)者提供人工智能 (AI) 和機器學習 (ML) 功能，進而確保 AI 真正的潛力能被最廣泛的設(shè)備和開發(fā)者所使用。 借助 ExecuTorch 和新的 Llama 量化模型，Arm 計算平臺優(yōu)化生成式 AI 性能 Arm 計算平臺無處不在，為全球眾多邊緣側(cè)設(shè)備提供支持，而 ExecuTorch 則是專為移動和邊緣側(cè)設(shè)備部署 AI 模型而設(shè)計的 PyTorch 原生部署框架。兩者的緊密合作，使開發(fā)者能夠賦能更小、更優(yōu)化的模型，包括新的 Llama 3.2 1B 和 3B 量化模型。這些新模型可以減少內(nèi)存占用、提高準確性、增強性能和提供可移植性，成為小型設(shè)備上的生成式 AI 應(yīng)用的理想選擇，如虛擬聊天機器人、文本摘要和 AI 助手。 開發(fā)者無需額外的修改或優(yōu)化，便可將新的量化模型無縫集成到應(yīng)用中，從而節(jié)省時間和資源。如此一來，他們能夠迅速在廣泛的 Arm 設(shè)備上大規(guī)模開發(fā)和部署更多的智能 AI 應(yīng)用。 隨著 Llama 3.2 大語言模型 (LLM) 新版本的發(fā)布，Arm 正在通過 ExecuTorch 框架優(yōu)化 AI 性能，使得在 Arm 計算平臺邊緣設(shè)備運行的真實生成式 AI 工作負載能更為快速。在 ExecuTorch 測試版發(fā)布的首日起，開發(fā)者便能享有這些性能的提升。 集成 KleidiAI，加速端側(cè)生成式 AI 的實現(xiàn) 在移動領(lǐng)域，Arm 與 ExecuTorch 的合作意味著眾多生成式 AI 應(yīng)用，如虛擬聊天機器人、文本生成和摘要、實時語音和虛擬助手等，完全能夠在搭載 Arm CPU 的設(shè)備上以更高的性能運行。這一成果得益于 KleidiAI，它引入了針對 4 位量化優(yōu)化的微內(nèi)核，并通過 XNNPACK 集成到了 ExecuTorch 中，因此，在 Arm 計算平臺上運行 4 位量化的 LLM 時，無縫加速 AI 工作負載的執(zhí)行。例如，通過 KleidiAI 的集成，Llama 3.2 1B 量化模型預填充階段的執(zhí)行速度可以提高 20%，使得一些基于 Arm 架構(gòu)的移動設(shè)備上的文本生成速度超過了每秒 400 個詞元 (token)。這意味著，終端用戶將從他們移動設(shè)備上獲得更快速、響應(yīng)更靈敏的 AI 體驗。 了解更多 Arm 在移動市場對 ExecuTorch 的支持，請查閱博客文章。 為物聯(lián)網(wǎng)的邊緣側(cè) AI 應(yīng)用加速實時處理能力 在物聯(lián)網(wǎng)領(lǐng)域，ExecuTorch 將提高邊緣側(cè) AI 應(yīng)用的實時處理能力，包括智能家電、可穿戴設(shè)備以及自動零售系統(tǒng)等。這意味著物聯(lián)網(wǎng)設(shè)備和應(yīng)用能夠以毫秒級的速度響應(yīng)環(huán)境變化，這對保障安全性和功能可用性至關(guān)重要。 ExecuTorch 可在 Arm® Cortex®-A CPU 和 Ethos™-U NPU 上運行，以加速邊緣側(cè) AI 應(yīng)用的開發(fā)和部署。事實上，通過將 ExecuTorch 與 Arm Corstone™-320 參考平臺（也可作為仿真固定虛擬平臺 (FVP) 使用）、Arm Ethos-U85 NPU 驅(qū)動程序和編譯器支持集成到一個軟件包中，開發(fā)者可在平臺上市前幾個月就著手開發(fā)邊緣側(cè) AI 應(yīng)用。 了解更多 Arm 在物聯(lián)網(wǎng)領(lǐng)域?qū)?ExecuTorch 的支持，請查閱博客文章。 更易獲取、更快捷的邊緣側(cè) AI 開發(fā)體驗 ExecuTorch 有潛力成為全球最受歡迎的高效 AI 和 ML 開發(fā)框架之一。通過將應(yīng)用最廣泛的 Arm 計算平臺與 ExecuTorch 相結(jié)合，Arm 正在通過新的量化模型加速 AI 的普及，讓開發(fā)者能夠更快地在更多設(shè)備上部署應(yīng)用，并將更多生成式 AI 體驗引入邊緣側(cè)。 |
