MediaTek攜手阿里云在天璣移動(dòng)平臺(tái)完成通義千問大模型端側(cè)部署，聯(lián)合推動(dòng)AI智能體應(yīng)用

　　2024年3月28日 – MediaTek宣布與阿里云達(dá)成深度合作，雙方在天璣9300移動(dòng)平臺(tái)上完成通義千問大模型小尺寸版本的端側(cè)部署，該部署可適配天璣8300移動(dòng)平臺(tái)，可實(shí)現(xiàn)離線狀態(tài)下即時(shí)且精準(zhǔn)的多輪人機(jī)對話問答。未來，雙方將攜手打造面向應(yīng)用開發(fā)者和終端設(shè)備廠商的生成式AI軟硬件生態(tài)，基于MediaTek天璣移動(dòng)平臺(tái)適配更多參數(shù)版本的通義大模型，共同探索面向大眾的AI智能體(AI Agent)服務(wù)場景新機(jī)遇。

　　

 

　　MediaTek 無線通信事業(yè)部副總經(jīng)理李彥輯博士表示：“阿里云的通義系列大模型是AI領(lǐng)域的佼佼者，我們期待通過雙方的合作可以為應(yīng)用開發(fā)者和終端客戶提供更強(qiáng)大的硬件和軟件解決方案，同時(shí)促進(jìn)生成式AI的端側(cè)部署以及AI應(yīng)用、AI智能體生態(tài)的快速發(fā)展，為用戶帶來更多令人興奮的 AI產(chǎn)品體驗(yàn)。”

　　阿里巴巴通義實(shí)驗(yàn)室業(yè)務(wù)負(fù)責(zé)人徐棟表示：“端側(cè)AI是大模型應(yīng)用落地的重要場景之一，但面臨軟硬件難適配、開發(fā)環(huán)境不完備等諸多挑戰(zhàn)。阿里云與MediaTek此次合作，攻克完成了大量底層適配及上層開發(fā)的系列技術(shù)及工程難題，真正把大模型‘裝進(jìn)’手機(jī)芯片中，給業(yè)界成功打樣端側(cè)AI的Model-on-Chip部署新模式�；�于此，我們相信未來開發(fā)者會(huì)創(chuàng)造出更多新奇、實(shí)用的AI應(yīng)用。”

　　打樣生成式AI端側(cè)部署，軟硬一體聯(lián)合優(yōu)化提升效率

　　相較于僅在云端部署生成式AI的應(yīng)用和服務(wù)， 端云混合AI可充分利用終端設(shè)備的算力，在運(yùn)營成本、用戶信息安全、實(shí)時(shí)性以及個(gè)性化用戶體驗(yàn)等方面具備顯著優(yōu)勢�；�于對行業(yè)趨勢的一致洞察，MediaTek與阿里云通義實(shí)驗(yàn)室開展深度合作，對在天璣移動(dòng)平臺(tái)終端設(shè)備上運(yùn)行的通義大模型進(jìn)行適配和優(yōu)化，賦能終端設(shè)備提供更安全、快速、可靠和差異化的使用體驗(yàn)。

　　天璣 9300集成MediaTek第七代AI處理器APU 790，APU 790內(nèi)置硬件級(jí)的生成式 AI 引擎，支持終端運(yùn)行 10 億、70 億、130 億、最高可達(dá) 330 億參數(shù)的 AI 大語言模型，并支持生成式 AI 模型端側(cè)“技能擴(kuò)充”技術(shù) NeuroPilot Fusion，生成式 AI 處理速度是上一代 AI 處理器的 8 倍，1 秒內(nèi)可生成圖片。此外，MediaTek 的AI開發(fā)平臺(tái)NeuroPilot構(gòu)建了豐富的 AI 生態(tài)，已適配全球主流的AI大模型，完整的工具鏈包含對NeuroPilot Fusion和 LoRA (低秩自適應(yīng))融合技術(shù)的支持，結(jié)合MediaTek AI系統(tǒng)的強(qiáng)勁算力，助力開發(fā)者能更快地完成模型的優(yōu)化和轉(zhuǎn)化，顯著提升大模型的端側(cè)處理效率，并賦予其更加全面的能力。

　　通義千問是阿里云自研的LLM基座大模型，目前已推出千億參數(shù)的2.0版本以及開源的720億、140億、70億、40億、18億、5億參數(shù)等尺寸，以及視覺理解模型Qwen-VL、音頻大模型Qwen-Audio等多模態(tài)大模型。通義千問Qwen系列是中國市場率先開源的自研大模型，曾在10多個(gè)行業(yè)基準(zhǔn)評(píng)測創(chuàng)下開源模型突出成績，并登頂全球高影響力的Hugging Face排行榜。目前，通義大模型家族已形成基礎(chǔ)大模型及系列行業(yè)模型的矩陣，并首批通過國家大模型標(biāo)準(zhǔn)評(píng)測，在行業(yè)專業(yè)AI大模型報(bào)告的全部11項(xiàng)測試中，獲得6項(xiàng)滿分，名列前茅。

　　MediaTek與阿里云長期保持緊密的合作伙伴關(guān)系，雙方已完成通義千問大模型小尺寸版本在天璣移動(dòng)平臺(tái)的端側(cè)適配，即將透過開發(fā)者生態(tài)推動(dòng)該成果廣泛普及于端側(cè)AI應(yīng)用中。此外，MediaTek面向開發(fā)者的模型中心和工具鏈將集成通義千問大模型系列，助力廣大開發(fā)者可以更便捷地在天璣移動(dòng)平臺(tái)上開發(fā)基于通義大模型的各類場景應(yīng)用。

　　MediaTek攜手阿里云通義千問大模型，率先開拓AI 智能體端側(cè)應(yīng)用新機(jī)遇

　　AI智能體是生成式大模型最激動(dòng)人心的發(fā)展主線，被稱為“大模型的下一站”�；�于對新機(jī)遇的一致理解，雙方還宣布啟動(dòng)聯(lián)合探索AI智能體解決方案計(jì)劃，通過整合MediaTek天璣移動(dòng)平臺(tái)強(qiáng)大的硬件和AI運(yùn)算能力，以及阿里云通義千問先進(jìn)的大模型技術(shù)和日益完善的開發(fā)工具平臺(tái)，從而支持智能終端在端側(cè)高能效地實(shí)現(xiàn)自然語言理解、復(fù)雜決策制定以及個(gè)性化服務(wù)生成，探索打造真正具備情境感知、自主學(xué)習(xí)和實(shí)時(shí)交互功能的下一代智能終端應(yīng)用生態(tài)。

　　未來，通過MediaTek和阿里云的共同努力，用戶在家“動(dòng)動(dòng)嘴”說出需求，由天璣移動(dòng)平臺(tái)和通義大模型驅(qū)動(dòng)的AI 智能體就能自動(dòng)建立并最終達(dá)成任務(wù)，將智能化的夢想照進(jìn)現(xiàn)實(shí)。同時(shí)，廣大開發(fā)者和終端設(shè)備廠商也將由此迎來更廣闊的創(chuàng)新機(jī)遇。

　　在生成式AI浪潮下，大模型正成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量。MediaTek將持續(xù)攜手阿里云通義實(shí)驗(yàn)室，加速終端側(cè)生成式AI的部署，聯(lián)合培育生成式AI的應(yīng)用場景和生態(tài)，并共同打造面向未來的AI智能體產(chǎn)品體驗(yàn)，更好地支持千行百業(yè)落地AI應(yīng)用，讓科技惠及大眾生活。