MediaTek攜手阿里云在天璣移動(dòng)平臺(tái)完成通義千問大模型端側(cè)部署,聯(lián)合推動(dòng)AI智能體應(yīng)用

2024-03-28 14:21:33   來源:家電消費(fèi)網(wǎng)   評(píng)論:0   [收藏]   [評(píng)論]
導(dǎo)讀:  2024年3月28日 – MediaTek宣布與阿里云達(dá)成深度合作,雙方在天璣9300移動(dòng)平臺(tái)上完成通義千問大模型小尺寸版本的端側(cè)部署,該部署可適配天璣8300移動(dòng)平臺(tái),可實(shí)現(xiàn)離線狀態(tài)下即時(shí)且精準(zhǔn)的多輪人機(jī)對話
  2024年3月28日 – MediaTek宣布與阿里云達(dá)成深度合作,雙方在天璣9300移動(dòng)平臺(tái)上完成通義千問大模型小尺寸版本的端側(cè)部署,該部署可適配天璣8300移動(dòng)平臺(tái),可實(shí)現(xiàn)離線狀態(tài)下即時(shí)且精準(zhǔn)的多輪人機(jī)對話問答。未來,雙方將攜手打造面向應(yīng)用開發(fā)者和終端設(shè)備廠商的生成式AI軟硬件生態(tài),基于MediaTek天璣移動(dòng)平臺(tái)適配更多參數(shù)版本的通義大模型,共同探索面向大眾的AI智能體(AI Agent)服務(wù)場景新機(jī)遇。

  

圖片包含 圖形用戶界面

描述已自動(dòng)生成

 

  MediaTek 無線通信事業(yè)部副總經(jīng)理李彥輯博士表示:“阿里云的通義系列大模型是AI領(lǐng)域的佼佼者,我們期待通過雙方的合作可以為應(yīng)用開發(fā)者和終端客戶提供更強(qiáng)大的硬件和軟件解決方案,同時(shí)促進(jìn)生成式AI的端側(cè)部署以及AI應(yīng)用、AI智能體生態(tài)的快速發(fā)展,為用戶帶來更多令人興奮的 AI產(chǎn)品體驗(yàn)。”

  阿里巴巴通義實(shí)驗(yàn)室業(yè)務(wù)負(fù)責(zé)人徐棟表示:“端側(cè)AI是大模型應(yīng)用落地的重要場景之一,但面臨軟硬件難適配、開發(fā)環(huán)境不完備等諸多挑戰(zhàn)。阿里云與MediaTek此次合作,攻克完成了大量底層適配及上層開發(fā)的系列技術(shù)及工程難題,真正把大模型‘裝進(jìn)’手機(jī)芯片中,給業(yè)界成功打樣端側(cè)AI的Model-on-Chip部署新模式;诖,我們相信未來開發(fā)者會(huì)創(chuàng)造出更多新奇、實(shí)用的AI應(yīng)用。”

  打樣生成式AI端側(cè)部署,軟硬一體聯(lián)合優(yōu)化提升效率

  相較于僅在云端部署生成式AI的應(yīng)用和服務(wù), 端云混合AI可充分利用終端設(shè)備的算力,在運(yùn)營成本、用戶信息安全、實(shí)時(shí)性以及個(gè)性化用戶體驗(yàn)等方面具備顯著優(yōu)勢;趯π袠I(yè)趨勢的一致洞察,MediaTek與阿里云通義實(shí)驗(yàn)室開展深度合作,對在天璣移動(dòng)平臺(tái)終端設(shè)備上運(yùn)行的通義大模型進(jìn)行適配和優(yōu)化,賦能終端設(shè)備提供更安全、快速、可靠和差異化的使用體驗(yàn)。

  天璣 9300集成MediaTek第七代AI處理器APU 790,APU 790內(nèi)置硬件級(jí)的生成式 AI 引擎,支持終端運(yùn)行 10 億、70 億、130 億、最高可達(dá) 330 億參數(shù)的 AI 大語言模型,并支持生成式 AI 模型端側(cè)“技能擴(kuò)充”技術(shù) NeuroPilot Fusion,生成式 AI 處理速度是上一代 AI 處理器的 8 倍,1 秒內(nèi)可生成圖片。此外,MediaTek 的AI開發(fā)平臺(tái)NeuroPilot構(gòu)建了豐富的 AI 生態(tài),已適配全球主流的AI大模型,完整的工具鏈包含對NeuroPilot Fusion和 LoRA (低秩自適應(yīng))融合技術(shù)的支持,結(jié)合MediaTek AI系統(tǒng)的強(qiáng)勁算力,助力開發(fā)者能更快地完成模型的優(yōu)化和轉(zhuǎn)化,顯著提升大模型的端側(cè)處理效率,并賦予其更加全面的能力。

  通義千問是阿里云自研的LLM基座大模型,目前已推出千億參數(shù)的2.0版本以及開源的720億、140億、70億、40億、18億、5億參數(shù)等尺寸,以及視覺理解模型Qwen-VL、音頻大模型Qwen-Audio等多模態(tài)大模型。通義千問Qwen系列是中國市場率先開源的自研大模型,曾在10多個(gè)行業(yè)基準(zhǔn)評(píng)測創(chuàng)下開源模型突出成績,并登頂全球高影響力的Hugging Face排行榜。目前,通義大模型家族已形成基礎(chǔ)大模型及系列行業(yè)模型的矩陣,并首批通過國家大模型標(biāo)準(zhǔn)評(píng)測,在行業(yè)專業(yè)AI大模型報(bào)告的全部11項(xiàng)測試中,獲得6項(xiàng)滿分,名列前茅。

  MediaTek與阿里云長期保持緊密的合作伙伴關(guān)系,雙方已完成通義千問大模型小尺寸版本在天璣移動(dòng)平臺(tái)的端側(cè)適配,即將透過開發(fā)者生態(tài)推動(dòng)該成果廣泛普及于端側(cè)AI應(yīng)用中。此外,MediaTek面向開發(fā)者的模型中心和工具鏈將集成通義千問大模型系列,助力廣大開發(fā)者可以更便捷地在天璣移動(dòng)平臺(tái)上開發(fā)基于通義大模型的各類場景應(yīng)用。

  MediaTek攜手阿里云通義千問大模型,率先開拓AI 智能體端側(cè)應(yīng)用新機(jī)遇

  AI智能體是生成式大模型最激動(dòng)人心的發(fā)展主線,被稱為“大模型的下一站”;趯π聶C(jī)遇的一致理解,雙方還宣布啟動(dòng)聯(lián)合探索AI智能體解決方案計(jì)劃,通過整合MediaTek天璣移動(dòng)平臺(tái)強(qiáng)大的硬件和AI運(yùn)算能力,以及阿里云通義千問先進(jìn)的大模型技術(shù)和日益完善的開發(fā)工具平臺(tái),從而支持智能終端在端側(cè)高能效地實(shí)現(xiàn)自然語言理解、復(fù)雜決策制定以及個(gè)性化服務(wù)生成,探索打造真正具備情境感知、自主學(xué)習(xí)和實(shí)時(shí)交互功能的下一代智能終端應(yīng)用生態(tài)。

  未來,通過MediaTek和阿里云的共同努力,用戶在家“動(dòng)動(dòng)嘴”說出需求,由天璣移動(dòng)平臺(tái)和通義大模型驅(qū)動(dòng)的AI 智能體就能自動(dòng)建立并最終達(dá)成任務(wù),將智能化的夢想照進(jìn)現(xiàn)實(shí)。同時(shí),廣大開發(fā)者和終端設(shè)備廠商也將由此迎來更廣闊的創(chuàng)新機(jī)遇。

  在生成式AI浪潮下,大模型正成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動(dòng)力量。MediaTek將持續(xù)攜手阿里云通義實(shí)驗(yàn)室,加速終端側(cè)生成式AI的部署,聯(lián)合培育生成式AI的應(yīng)用場景和生態(tài),并共同打造面向未來的AI智能體產(chǎn)品體驗(yàn),更好地支持千行百業(yè)落地AI應(yīng)用,讓科技惠及大眾生活。

分享到:
責(zé)任編輯:zsz

網(wǎng)友評(píng)論