高通發(fā)布在 Android 手機(jī)上部署 AI 模型的解決方案。3 月 2 日，高通中國公眾號(hào)發(fā)布了全球首個(gè)運(yùn)行在 Android 手機(jī)上的 Stable Diffusion 終端側(cè)演示。高通 AI 部門演示了如何利用高通 AI 軟件棧，首次在 Android 智能手機(jī)部署 Stable Diffusion 模型。該模型是一個(gè)用文字生產(chǎn)圖片的 AI 模型，參數(shù)超過 10 億，過去只能在云端計(jì)算集群內(nèi)運(yùn)行。
邊緣算力有望成為推理主體。在本次實(shí)驗(yàn)中，高通 AI 團(tuán)隊(duì)從 Hugging Face的 FP32 1-5 版本開源模型入手，通過量化、編譯和硬件加速進(jìn)行優(yōu)化，使其能在搭載第二代驍龍 8 移動(dòng)平臺(tái)的手機(jī)上運(yùn)行。我們認(rèn)為，未來 AI 的推理過程，通過一定的針對(duì)性優(yōu)化后，完全有能力通過邊緣算力實(shí)施。同時(shí)，邊緣算力具有低時(shí)延、安全、隱私等優(yōu)勢(shì)，符合未來 AIGC 時(shí)代，對(duì)于 AI創(chuàng)作所有權(quán)和隱私權(quán)的要求。同時(shí)，手機(jī)，智能模組等算力相對(duì)于云端訪問，對(duì)于普通用戶來說更加便捷和易于學(xué)習(xí)，對(duì)于 AIGC 應(yīng)用的推廣也更加有利。
邊緣算力是未來算力體系的重要一環(huán)。當(dāng)前，無論是需要超強(qiáng)硬件支撐的AI 迭代與訓(xùn)練，還是運(yùn)行要求相對(duì)較低，需求相對(duì)分散的 AI 推理，都放在超算中心內(nèi)進(jìn)行。我們認(rèn)為，在 AI 大爆發(fā)周期內(nèi)，迭代和訓(xùn)練需要的整體算力將會(huì)呈指數(shù)級(jí)增長(zhǎng)，增速將會(huì)超過單芯片算力增長(zhǎng)速度。
同時(shí)，單個(gè)AI 超算規(guī)模將會(huì)受到功耗、土地、散熱等因素制約。因此，未來的 AI 運(yùn)算將呈現(xiàn)出訓(xùn)練與迭代在云端，推理與內(nèi)容生產(chǎn)梯度分布（云側(cè)+霧側(cè)+邊緣側(cè)）的格局變化。此外，隨著 AIGC 內(nèi)容愈發(fā)豐富，從簡(jiǎn)單的文字發(fā)展到視頻、虛擬場(chǎng)景，如果采用云生成然后發(fā)送到端的形式，將會(huì)產(chǎn)生較多的網(wǎng)絡(luò)帶寬成本和一定程度的時(shí)延，進(jìn)而影響模型的商業(yè)化進(jìn)程與用戶使用體驗(yàn)，邊緣算力有助于作為補(bǔ)充手段改善這一情形。
智能模組是承載邊緣算力的優(yōu)秀形式。智能模組指的是融入了算力或通用處理芯片的通訊模組。當(dāng)前已經(jīng)應(yīng)用于車機(jī)、消費(fèi)等多個(gè)領(lǐng)域。當(dāng)前主流的智能模組主要采用高通平臺(tái)。因此此次高通在終端部署并推理 AI 模型的成功嘗試，對(duì)于模組走向 AIGC 時(shí)代具有重大意義。
單個(gè)模組算力可能較小，但智能模組具備靈活性與定制化的產(chǎn)品特性，結(jié)合高通 AI 增效工具包與專用硬件，未來智能模組有望走向依據(jù)模型定制算力平臺(tái)，與使用場(chǎng)景深度綁定的模式，徹底打開行業(yè)應(yīng)用場(chǎng)景與想象空間。
以上是【東莞市佳欣智能系統(tǒng)有限公司】為大家分享的相關(guān)新聞。我司是領(lǐng)先的智能化系統(tǒng)供應(yīng)商和信息系統(tǒng)集成商，我們主要從事以智能建筑技術(shù)為核心的智能化工程業(yè)務(wù)、以物聯(lián)網(wǎng)和軟件技術(shù)為核心的信息系統(tǒng)集成業(yè)務(wù)，集信息系統(tǒng)咨詢?cè)O(shè)計(jì)、技術(shù)開發(fā)、集成應(yīng)用、產(chǎn)品銷售、工程服務(wù)于一體。
涵蓋 智慧園區(qū)，智慧工廠，智慧校園，智慧后勤，平安校園，軟件開發(fā)等...【http://coo7.cn】歡迎大家進(jìn)入官網(wǎng)點(diǎn)擊查看！
