市場研究公司Omdia在一篇最新報(bào)告中針對中國電信人工智能研究院（TeleAI）的AI Flow（智傳網(wǎng)）進(jìn)行了深入解讀與分析，稱其所具備的創(chuàng)新使中國電信成為電信基礎(chǔ)設(shè)施和服務(wù)智能轉(zhuǎn)型方面的領(lǐng)導(dǎo)者。
以下為這篇Omdia報(bào)告的全文內(nèi)容：
生成式人工智能（GenAI）的快速發(fā)展帶來了人類生產(chǎn)力的范式轉(zhuǎn)變�；A(chǔ)模型現(xiàn)在展現(xiàn)出前所未有的多功能性，能夠處理從文本、語音到圖像、視頻和代碼等多模態(tài)輸入，并生成高度準(zhǔn)確的結(jié)果。這種類人理解和生成能力使基礎(chǔ)模型實(shí)現(xiàn)了高度任務(wù)自動化和員工能力增強(qiáng)。
實(shí)現(xiàn)這些能力需要巨大的計(jì)算資源，迫使基礎(chǔ)模型駐留在提供彈性可擴(kuò)展性的云環(huán)境中。然而，云中心方法帶來的效率和靈活性被嚴(yán)重的延遲成本和數(shù)據(jù)安全風(fēng)險(xiǎn)所抵消。當(dāng)所有交互必須通過云服務(wù)器時，不同設(shè)備之間的協(xié)調(diào)效率低下。
因此，網(wǎng)絡(luò)邊緣的許多關(guān)鍵業(yè)務(wù)應(yīng)用和關(guān)鍵任務(wù)應(yīng)用無法承受這種延遲、隱私或可靠性問題，導(dǎo)致企業(yè)將模型處理保留在本地設(shè)備和企業(yè)內(nèi)部。然而，以設(shè)備為中心的方法完全將設(shè)備用戶與GenAI提供的好處隔離開來。基于基礎(chǔ)模型的設(shè)備上GenAI應(yīng)用在推理過程中需要大量計(jì)算和存儲資源。從模型角度看，主流的基于transformer的基礎(chǔ)模型并非為信息共享和知識傳輸而設(shè)計(jì)，嚴(yán)重限制了網(wǎng)絡(luò)邊緣推理工作負(fù)載的優(yōu)化。隨著模型被整合到復(fù)雜的智能體AI系統(tǒng)中，缺乏無縫協(xié)調(diào)限制了它們的潛力。
Omdia觀點(diǎn)
在邊緣實(shí)施GenAI帶來巨大的挑戰(zhàn)，包括計(jì)算資源有限、能源限制、和跨異構(gòu)設(shè)備分配AI工作負(fù)載的復(fù)雜性。云中心和以設(shè)備為中心的方法都不是很適合實(shí)現(xiàn)高效的邊緣GenAI部署。雖然芯片組廠商、硬件制造商和模型開發(fā)者提供了能夠極大地提高本地GenAI處理能力的先進(jìn)技術(shù)，包括專用AI芯片組、小型語言模型（SLM）、鍵值（KV）緩存和模型壓縮（蒸餾、量化和剪枝），但是當(dāng)部署在異構(gòu)環(huán)境中時，這些技術(shù)仍受到前述不足之處的限制。類似自動駕駛和無人機(jī)以及具身智能等新的GenAI驅(qū)動的應(yīng)用受歡迎程度迅速增長，這創(chuàng)造了對能夠跨異構(gòu)計(jì)算環(huán)境高效運(yùn)行的分布式智能解決方案的迫切需求。
為什么追蹤TeleAI？
TeleAI，即中國電信人工智能研究院，通過其AI Flow（智傳網(wǎng)）框架首創(chuàng)了分布式GenAI部署的多學(xué)科方法。AI Flow是TeleAI在中國電信首席技術(shù)官兼首席科學(xué)家李學(xué)龍教授的領(lǐng)導(dǎo)下開發(fā)的一種創(chuàng)新框架。該框架通過設(shè)備-邊緣-云的層次架構(gòu)集成信息技術(shù)和通信技術(shù)，該架構(gòu)由家族模型和協(xié)作模型操作支持。通過跨設(shè)備、邊緣節(jié)點(diǎn)和云服務(wù)器分配推理工作負(fù)載，適應(yīng)動態(tài)網(wǎng)絡(luò)條件，以及優(yōu)化推理過程，這些創(chuàng)新使AI Flow能夠直接在網(wǎng)絡(luò)邊緣集成智能能力。這種創(chuàng)新方法使中國電信成為電信基礎(chǔ)設(shè)施和服務(wù)智能轉(zhuǎn)型方面的領(lǐng)導(dǎo)者。
市場現(xiàn)狀
GenAI前景廣闊
GenAI是一種變革性技術(shù)，可改變用戶對AI能力和可能性的認(rèn)知。自2022年底GenAI出現(xiàn)以來，該領(lǐng)域經(jīng)歷了快速的演變：
·由大型語言模型（LLM）驅(qū)動的對話式AI工具（如ChatGPT和通義千問）提供類人的響應(yīng)和交互。這些工具還能夠執(zhí)行大規(guī)模網(wǎng)絡(luò)搜索，生成詳細(xì)的長篇報(bào)告，并相當(dāng)準(zhǔn)確地翻譯多種語言。
·認(rèn)識到其商業(yè)潛力后，廠商開始集成多模態(tài)能力，開發(fā)的基礎(chǔ)模型通過視覺語言模型（VLM）處理和生成文本和語音以外的輸出，如代碼、圖像和視頻。
·納入諸如強(qiáng)化學(xué)習(xí)、思維鏈推理和測試時擴(kuò)展等新技術(shù)使模型能夠支持復(fù)雜任務(wù)，包括數(shù)學(xué)推理和編碼。除了這些應(yīng)用，擁有增強(qiáng)的推理能力的模型還整合視覺和語言信息，從而提高通過視覺和文本輸入進(jìn)行推理的能力。
·利用基礎(chǔ)模型的任務(wù)完成和推理能力，可將基礎(chǔ)模型用于創(chuàng)建智能體，以執(zhí)行特定領(lǐng)域任務(wù)，如客戶服務(wù)、商業(yè)智能、運(yùn)營自動化和增強(qiáng)個性化。為促進(jìn)智能體的部署，廠商推出了模型上下文協(xié)議（MCP）和Agent2Agent（A2A）等開源協(xié)議，以創(chuàng)建一個能夠執(zhí)行復(fù)雜、跨領(lǐng)域任務(wù)的多智能體系統(tǒng)。
云中心計(jì)算方法面臨的挑戰(zhàn)
這些進(jìn)步改變了許多行業(yè)，并解鎖了在先進(jìn)自動化和增強(qiáng)方面的巨大潛力。然而，這些GenAI應(yīng)用和賦能它們的模型為云環(huán)境而設(shè)計(jì)，且在云環(huán)境中構(gòu)建。云中心的方法通常無法高效地平衡性能要求與資源限制。沒有強(qiáng)大、靈活的計(jì)算資源，這些復(fù)雜的GenAI模型就不能正常工作，在完成基本任務(wù)時舉步維艱。
隨著AI應(yīng)用日益普及，對智能能力更靠近數(shù)據(jù)生成位置的需求也在不斷增長。在需要實(shí)時處理、隱私保護(hù)或在帶寬受限環(huán)境中運(yùn)行的場景中，集中式方法顯露出局限性。因此，行業(yè)需要實(shí)施邊緣GenAI的新方法。
目前，行業(yè)愈發(fā)專注于通過輕量級模型和專用AI芯片組支持設(shè)備上GenAI處理，這是芯片組廠商和設(shè)備制造商所青睞的主流方法。輕量級GenAI模型與用于設(shè)備上推理的專用AI芯片組結(jié)合減少了能耗，降低了對云推理的依賴，并帶來增強(qiáng)的隱私性。自從模型嵌入設(shè)備或本地服務(wù)器，處理就高度本地化，并需要模型和AI芯片組的高度優(yōu)化。
因其架構(gòu)，本地化GenAI模型重度依賴于本地AI計(jì)算資源，從而限制了模型的規(guī)模和性能。諸如自主無人機(jī)、自動駕駛汽車和人形機(jī)器人的先進(jìn)應(yīng)用不斷需要更多計(jì)算資源，因?yàn)閺母鞣N來源（包括自動駕駛系統(tǒng)、駕駛艙和環(huán)境傳感器）持續(xù)收集的高清數(shù)據(jù)流被輸入到復(fù)雜的VLM和視覺語言行動模型（VLAM），以生成高度準(zhǔn)確的輸出。這些模型的大小從幾十到幾百千兆字節(jié)不等，因此無法在大多數(shù)設(shè)備上部署。
此外，現(xiàn)有模型壓縮方法，如量化、蒸餾和剪枝，通常為追求性能和成本優(yōu)化而犧牲模型能力。該方法削弱了這些模型的能力，影響了它們的性能和可靠性。
需要新的GenAI計(jì)算范式
注意到上文提到的不足之處，其它行業(yè)參與者快速轉(zhuǎn)為建議實(shí)施邊緣GenAI的新方法。減少對云基礎(chǔ)設(shè)施的依賴和尋找更多超越設(shè)備限制的資源引發(fā)了對邊緣計(jì)算基礎(chǔ)設(shè)施的考慮。電信運(yùn)營商位于這一想法的前沿。大多數(shù)不足之處可以通過緊密集成信息計(jì)算和通信技術(shù)解決。
目前，邊緣計(jì)算架構(gòu)廣泛部署于內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）、工業(yè)云和無線電信基礎(chǔ)設(shè)施中。這些服務(wù)器部署在云基礎(chǔ)設(shè)施的邊緣，主要用于緩存、高級數(shù)據(jù)采集與處理以及托管輕量級應(yīng)用。作為云服務(wù)器與邊緣設(shè)備的中介，它們作為工作負(fù)載處理的額外層，減少帶寬使用并增強(qiáng)可靠性，因此，當(dāng)配有AI推理芯片組時，這些服務(wù)器能夠作為本地基礎(chǔ)設(shè)施實(shí)現(xiàn)分布式智能。
另一個關(guān)鍵組件是連接。通過確保無縫工作負(fù)載交接與經(jīng)穩(wěn)定和低延遲連接協(xié)議分配智能工作負(fù)載，GenAI模型能夠適應(yīng)不同的網(wǎng)絡(luò)條件、設(shè)備能力和應(yīng)用要求，同時維持性能和效率。穩(wěn)定可靠的連接還對確保多智能體系統(tǒng)的性能至關(guān)重要。不同設(shè)備上的智能體能夠共享信息和洞察以執(zhí)行超越單個智能體能力的任務(wù)，因?yàn)樗鼈兡軌騽討B(tài)地調(diào)整、協(xié)調(diào)和合作以應(yīng)對現(xiàn)實(shí)世界的應(yīng)用。
簡言之，異構(gòu)計(jì)算資源與無縫連接的集成能夠帶來分布式智能方面的大幅提升。由于在管理復(fù)雜網(wǎng)絡(luò)協(xié)議方面數(shù)十年的經(jīng)驗(yàn)，電信運(yùn)營商位于實(shí)現(xiàn)這一趨勢的前沿。除了利用其豐富的網(wǎng)絡(luò)資產(chǎn)，電信運(yùn)營商有良好的定位，可交付企業(yè)級網(wǎng)絡(luò)管理、流量管理和安全運(yùn)營，從而確保無縫和可靠的服務(wù)。
AI Flow概述
AI Flow是TeleAI提出的一種新型計(jì)算方法，通過結(jié)合信息技術(shù)和通信技術(shù)解決邊緣GenAI實(shí)施挑戰(zhàn)。該方法引入了跨越邊緣設(shè)備、邊緣服務(wù)器和云服務(wù)器的層次架構(gòu)�；谶@一架構(gòu)，TeleAI設(shè)想推理工作負(fù)載可以在不同層之間共享，同時不影響速度和質(zhì)量。AI Flow引入了幾種協(xié)作推理范式，包括：
·需要中等計(jì)算資源的任務(wù)的設(shè)備-邊緣協(xié)作
·需要大量計(jì)算能力的復(fù)雜任務(wù)的設(shè)備-邊緣-云集成
實(shí)施策略將每個推理步驟放置在最合適的硬件上，優(yōu)化性能和效率。
最重要的是，這種結(jié)構(gòu)實(shí)現(xiàn)了推理任務(wù)的靈活分配，初始數(shù)據(jù)處理發(fā)生在網(wǎng)絡(luò)邊緣，而更復(fù)雜的計(jì)算在必要時利用云資源。這允許基于任務(wù)需求和可用資源進(jìn)行動態(tài)工作負(fù)載分配。
為確保信息流和知識共享的無縫進(jìn)行，該框架依賴于一種稱為家族模型的模型架構(gòu)。家族模型是具有高度靈活參數(shù)配置的基于transformer的基礎(chǔ)模型的子集。這種新型模型架構(gòu)支持對總參數(shù)數(shù)量進(jìn)行精細(xì)調(diào)整，通過transformer塊內(nèi)線性層的自適應(yīng)權(quán)重分解實(shí)現(xiàn)。這一特性使其能夠輕松部署在各種設(shè)備上。
家族模型的靈活性使用戶能基于實(shí)時網(wǎng)絡(luò)條件進(jìn)行自適應(yīng)資源分配。具體而言，AI Flow架構(gòu)在云端基礎(chǔ)設(shè)施的強(qiáng)大計(jì)算集群上部署了具有數(shù)百億參數(shù)的大模型，同時在資源受限的用戶設(shè)備和邊緣服務(wù)器上部署了更輕量級的家族模型。這些模型共享可跨設(shè)備傳輸?shù)南嗤卣�，從而使工作�?fù)載分區(qū)更有效地滿足計(jì)算需求和提高數(shù)據(jù)傳輸效率。
該設(shè)計(jì)支持分段式推理，邊緣設(shè)備的較小模型生成初始推理輸出，傳輸至鄰近的邊緣服務(wù)器進(jìn)行改進(jìn)以增強(qiáng)準(zhǔn)確性，最后返回至用戶。由于交換是近實(shí)時的，用戶將收到大幅改進(jìn)的輸出，因?yàn)樵摷軜?gòu)能夠從托管在邊緣服務(wù)器上的大型模型獲得更豐富的響應(yīng)，而不是僅依賴于托管在用戶設(shè)備上的較小模型。
AI Flow促進(jìn)無縫的智能流動，允許設(shè)備級智能體克服單個設(shè)備的限制，實(shí)現(xiàn)增強(qiáng)的功能。相同的通信網(wǎng)絡(luò)能夠跨異構(gòu)節(jié)點(diǎn)連接先進(jìn)的LLM、VLM和VLAM。通過促進(jìn)實(shí)時的協(xié)同集成和這些模型之間的動態(tài)交互，該方法實(shí)現(xiàn)了超越單一模型能力的涌現(xiàn)智能。AI Flow的核心是利用部署在網(wǎng)絡(luò)邊緣協(xié)作多智能體系統(tǒng)（MAS），在那里互連的智能體一起解決需要適應(yīng)能力和快速響應(yīng)的復(fù)雜、現(xiàn)實(shí)世界任務(wù)。邊緣計(jì)算與基于智能體的系統(tǒng)的協(xié)同效應(yīng)提高了AI應(yīng)用的可擴(kuò)展性和效率，因?yàn)檫@些智能體能夠共享中間表示、上下文信息和反饋信號。TeleAI認(rèn)為AI Flow會改變具身AI、可穿戴設(shè)備和智慧城市應(yīng)用等新興GenAI應(yīng)用的游戲規(guī)則。
公司介紹
背景情況
中國電信成立于2000年9月，是一家在《財(cái)富》雜志“世界500強(qiáng)企業(yè)”中有極大影響力的國有電信巨頭，擁有超8000億元資產(chǎn)，年收入超721億美元。該公司歷來是移動通信網(wǎng)絡(luò)方面的領(lǐng)導(dǎo)者，最近將其戰(zhàn)略重心轉(zhuǎn)向AI和數(shù)字化轉(zhuǎn)型。TeleAI（中國電信人工智能研究所）在建立該公司的“1+1+1+M+N”AI系統(tǒng)框架方面起重要作用。該框架指1個智算云底座、1個數(shù)據(jù)底座、1個星辰基礎(chǔ)模型、M個內(nèi)部大模型以及N個行業(yè)特定大模型應(yīng)用。該基礎(chǔ)模型已在政務(wù)、醫(yī)療保健、教育等50多個行業(yè)中部署，賦能全球超600個項(xiàng)目，且服務(wù)超過100個國家和地區(qū)。
現(xiàn)狀
TeleAI于2024年5月成立，并于2024年7月正式揭牌。在在中國電信首席技術(shù)官兼首席科學(xué)家李學(xué)龍教授的領(lǐng)導(dǎo)下，TeleAI正在加速AI Flow研究，同時拓展AI治理、AI智能體和智能光電子（重點(diǎn)關(guān)注具身AI）等關(guān)鍵領(lǐng)域。該研究所是GenAI領(lǐng)域的重要創(chuàng)新者。它建立并發(fā)布了星辰基礎(chǔ)模型系統(tǒng)，涵蓋語義、語音、視覺和多模態(tài)能力四個關(guān)鍵領(lǐng)域。此外，TeleAI還完成了中國首個利用超過10000個國產(chǎn)圖形處理單元（GPU）訓(xùn)練的萬億參數(shù)大模型。
2025年2月，該研究所發(fā)布了AI Flow的研究成果，這是一個旨在通過有效利用設(shè)備、邊緣節(jié)點(diǎn)和云服務(wù)器之間的異構(gòu)資源來優(yōu)化推理過程的新型框架。通過各種GenAI模型之間的創(chuàng)新連接和交互范式，AI Flow實(shí)現(xiàn)了超越任何單一模型能力的涌現(xiàn)智能，使強(qiáng)大的AI應(yīng)用能夠在網(wǎng)絡(luò)邊緣運(yùn)行。
未來計(jì)劃
展望未來，TeleAI將擴(kuò)展AI Flow在邊緣智能、LLM、多模態(tài)AI、聯(lián)邦學(xué)習(xí)和智能網(wǎng)絡(luò)管理等先進(jìn)領(lǐng)域的范圍和能力，以推動AI Flow在現(xiàn)實(shí)世界部署中的能力進(jìn)步。通過其結(jié)合信息技術(shù)和通信技術(shù)的多學(xué)科方法，中國電信正在重塑行業(yè)格局，實(shí)現(xiàn)不同領(lǐng)域中智能技術(shù)的大規(guī)模應(yīng)用。該公司認(rèn)為AI Flow能夠幫助彌補(bǔ)GenAI應(yīng)用的高要求與邊緣設(shè)備受限本質(zhì)之間的差距，同時促進(jìn)跨異構(gòu)系統(tǒng)的協(xié)作。
為推廣其GenAI能力，TeleAI正積極與全球行業(yè)參與者建立合作伙伴關(guān)系，以創(chuàng)建一個開放的AI生態(tài)，探索更多智能應(yīng)用場景，并加快AI技術(shù)的全球采用。該公司的全球AI生態(tài)合作計(jì)劃代表朝著建設(shè)下一代全球數(shù)字基礎(chǔ)設(shè)施邁出的重要一步，它將利用AI技術(shù)深度賦能各行各業(yè)，推動數(shù)字經(jīng)濟(jì)向前發(fā)展。中國電信還在通過全球云網(wǎng)寬帶產(chǎn)業(yè)協(xié)會（WBBA）等各種行業(yè)組織推廣其GenAI議程，以加快GenAI技術(shù)的全球采用和實(shí)施。
分析師點(diǎn)評
GenAI的進(jìn)步已導(dǎo)致其在多個行業(yè)的廣泛采用。根據(jù)Omdia的人工智能軟件市場預(yù)測，全球GenAI軟件收入預(yù)計(jì)將在2025年達(dá)到263億美元，到2029年增長至1013億美元。領(lǐng)先市場包括零售、金融服務(wù)、醫(yī)療保健、自動駕駛和媒體娛樂。在所有用例中，人形機(jī)器人、自動駕駛和自主無人機(jī)等邊緣GenAI應(yīng)用是增長最快的領(lǐng)域之一。不幸的是，這些設(shè)備資源受限，需要超低延遲以實(shí)現(xiàn)準(zhǔn)確推理和多智能體協(xié)調(diào)。
Omdia認(rèn)為AI Flow在這些復(fù)雜應(yīng)用的實(shí)現(xiàn)中扮演關(guān)鍵角色。作為結(jié)合計(jì)算和通信技術(shù)的框架，AI Flow展示了負(fù)載平衡、工作負(fù)載調(diào)度和高效資源分配的復(fù)雜方法。隨著邊緣AI部署規(guī)模擴(kuò)大和多樣化，這些能力將變得越來越重要，需要跨異構(gòu)環(huán)境進(jìn)行智能編排。設(shè)備-邊緣-云計(jì)算架構(gòu)戰(zhàn)略性地將每個推理工作負(fù)載放置在最合適的硬件上，優(yōu)化性能和效率。家族模型的引入實(shí)現(xiàn)了用戶設(shè)備和在線服務(wù)器之間的協(xié)作推理，而AI Flow的三層架構(gòu)支持分布式智能系統(tǒng)中的可擴(kuò)展多智能體協(xié)作。
隨著這些技術(shù)的成熟，該框架的靈活架構(gòu)將能夠整合新的計(jì)算范式和通信協(xié)議，確保長期相關(guān)性和適應(yīng)性。AI Flow也有良好的定位，可以與6G和量子計(jì)算等新興技術(shù)集成，以解決未來在安全、隱私和可擴(kuò)展性方面的挑戰(zhàn).
