市場研究公司Omdia在一篇最新報告中針對中國電信人工智能研究院（TeleAI）的AI Flow（智傳網）進行了深入解讀與分析，稱其所具備的創(chuàng)新使中國電信成為電信基礎設施和服務智能轉型方面的領導者。
以下為這篇Omdia報告的全文內容：
生成式人工智能（GenAI）的快速發(fā)展帶來了人類生產力的范式轉變�；A模型現在展現出前所未有的多功能性，能夠處理從文本、語音到圖像、視頻和代碼等多模態(tài)輸入，并生成高度準確的結果。這種類人理解和生成能力使基礎模型實現了高度任務自動化和員工能力增強。
實現這些能力需要巨大的計算資源，迫使基礎模型駐留在提供彈性可擴展性的云環(huán)境中。然而，云中心方法帶來的效率和靈活性被嚴重的延遲成本和數據安全風險所抵消。當所有交互必須通過云服務器時，不同設備之間的協調效率低下。
因此，網絡邊緣的許多關鍵業(yè)務應用和關鍵任務應用無法承受這種延遲、隱私或可靠性問題，導致企業(yè)將模型處理保留在本地設備和企業(yè)內部。然而，以設備為中心的方法完全將設備用戶與GenAI提供的好處隔離開來�；诨A模型的設備上GenAI應用在推理過程中需要大量計算和存儲資源。從模型角度看，主流的基于transformer的基礎模型并非為信息共享和知識傳輸而設計，嚴重限制了網絡邊緣推理工作負載的優(yōu)化。隨著模型被整合到復雜的智能體AI系統(tǒng)中，缺乏無縫協調限制了它們的潛力。
Omdia觀點
在邊緣實施GenAI帶來巨大的挑戰(zhàn)，包括計算資源有限、能源限制、和跨異構設備分配AI工作負載的復雜性。云中心和以設備為中心的方法都不是很適合實現高效的邊緣GenAI部署。雖然芯片組廠商、硬件制造商和模型開發(fā)者提供了能夠極大地提高本地GenAI處理能力的先進技術，包括專用AI芯片組、小型語言模型（SLM）、鍵值（KV）緩存和模型壓縮（蒸餾、量化和剪枝），但是當部署在異構環(huán)境中時，這些技術仍受到前述不足之處的限制。類似自動駕駛和無人機以及具身智能等新的GenAI驅動的應用受歡迎程度迅速增長，這創(chuàng)造了對能夠跨異構計算環(huán)境高效運行的分布式智能解決方案的迫切需求。
為什么追蹤TeleAI？
TeleAI，即中國電信人工智能研究院，通過其AI Flow（智傳網）框架首創(chuàng)了分布式GenAI部署的多學科方法。AI Flow是TeleAI在中國電信首席技術官兼首席科學家李學龍教授的領導下開發(fā)的一種創(chuàng)新框架。該框架通過設備-邊緣-云的層次架構集成信息技術和通信技術，該架構由家族模型和協作模型操作支持。通過跨設備、邊緣節(jié)點和云服務器分配推理工作負載，適應動態(tài)網絡條件，以及優(yōu)化推理過程，這些創(chuàng)新使AI Flow能夠直接在網絡邊緣集成智能能力。這種創(chuàng)新方法使中國電信成為電信基礎設施和服務智能轉型方面的領導者。
市場現狀
GenAI前景廣闊
GenAI是一種變革性技術，可改變用戶對AI能力和可能性的認知。自2022年底GenAI出現以來，該領域經歷了快速的演變：
·由大型語言模型（LLM）驅動的對話式AI工具（如ChatGPT和通義千問）提供類人的響應和交互。這些工具還能夠執(zhí)行大規(guī)模網絡搜索，生成詳細的長篇報告，并相當準確地翻譯多種語言。
·認識到其商業(yè)潛力后，廠商開始集成多模態(tài)能力，開發(fā)的基礎模型通過視覺語言模型（VLM）處理和生成文本和語音以外的輸出，如代碼、圖像和視頻。
·納入諸如強化學習、思維鏈推理和測試時擴展等新技術使模型能夠支持復雜任務，包括數學推理和編碼。除了這些應用，擁有增強的推理能力的模型還整合視覺和語言信息，從而提高通過視覺和文本輸入進行推理的能力。
·利用基礎模型的任務完成和推理能力，可將基礎模型用于創(chuàng)建智能體，以執(zhí)行特定領域任務，如客戶服務、商業(yè)智能、運營自動化和增強個性化。為促進智能體的部署，廠商推出了模型上下文協議（MCP）和Agent2Agent（A2A）等開源協議，以創(chuàng)建一個能夠執(zhí)行復雜、跨領域任務的多智能體系統(tǒng)。
云中心計算方法面臨的挑戰(zhàn)
這些進步改變了許多行業(yè)，并解鎖了在先進自動化和增強方面的巨大潛力。然而，這些GenAI應用和賦能它們的模型為云環(huán)境而設計，且在云環(huán)境中構建。云中心的方法通常無法高效地平衡性能要求與資源限制。沒有強大、靈活的計算資源，這些復雜的GenAI模型就不能正常工作，在完成基本任務時舉步維艱。
隨著AI應用日益普及，對智能能力更靠近數據生成位置的需求也在不斷增長。在需要實時處理、隱私保護或在帶寬受限環(huán)境中運行的場景中，集中式方法顯露出局限性。因此，行業(yè)需要實施邊緣GenAI的新方法。
目前，行業(yè)愈發(fā)專注于通過輕量級模型和專用AI芯片組支持設備上GenAI處理，這是芯片組廠商和設備制造商所青睞的主流方法。輕量級GenAI模型與用于設備上推理的專用AI芯片組結合減少了能耗，降低了對云推理的依賴，并帶來增強的隱私性。自從模型嵌入設備或本地服務器，處理就高度本地化，并需要模型和AI芯片組的高度優(yōu)化。
因其架構，本地化GenAI模型重度依賴于本地AI計算資源，從而限制了模型的規(guī)模和性能。諸如自主無人機、自動駕駛汽車和人形機器人的先進應用不斷需要更多計算資源，因為從各種來源（包括自動駕駛系統(tǒng)、駕駛艙和環(huán)境傳感器）持續(xù)收集的高清數據流被輸入到復雜的VLM和視覺語言行動模型（VLAM），以生成高度準確的輸出。這些模型的大小從幾十到幾百千兆字節(jié)不等，因此無法在大多數設備上部署。
此外，現有模型壓縮方法，如量化、蒸餾和剪枝，通常為追求性能和成本優(yōu)化而犧牲模型能力。該方法削弱了這些模型的能力，影響了它們的性能和可靠性。
需要新的GenAI計算范式
注意到上文提到的不足之處，其它行業(yè)參與者快速轉為建議實施邊緣GenAI的新方法。減少對云基礎設施的依賴和尋找更多超越設備限制的資源引發(fā)了對邊緣計算基礎設施的考慮。電信運營商位于這一想法的前沿。大多數不足之處可以通過緊密集成信息計算和通信技術解決。
目前，邊緣計算架構廣泛部署于內容分發(fā)網絡（CDN）、工業(yè)云和無線電信基礎設施中。這些服務器部署在云基礎設施的邊緣，主要用于緩存、高級數據采集與處理以及托管輕量級應用。作為云服務器與邊緣設備的中介，它們作為工作負載處理的額外層，減少帶寬使用并增強可靠性，因此，當配有AI推理芯片組時，這些服務器能夠作為本地基礎設施實現分布式智能。
另一個關鍵組件是連接。通過確保無縫工作負載交接與經穩(wěn)定和低延遲連接協議分配智能工作負載，GenAI模型能夠適應不同的網絡條件、設備能力和應用要求，同時維持性能和效率。穩(wěn)定可靠的連接還對確保多智能體系統(tǒng)的性能至關重要。不同設備上的智能體能夠共享信息和洞察以執(zhí)行超越單個智能體能力的任務，因為它們能夠動態(tài)地調整、協調和合作以應對現實世界的應用。
簡言之，異構計算資源與無縫連接的集成能夠帶來分布式智能方面的大幅提升。由于在管理復雜網絡協議方面數十年的經驗，電信運營商位于實現這一趨勢的前沿。除了利用其豐富的網絡資產，電信運營商有良好的定位，可交付企業(yè)級網絡管理、流量管理和安全運營，從而確保無縫和可靠的服務。
AI Flow概述
AI Flow是TeleAI提出的一種新型計算方法，通過結合信息技術和通信技術解決邊緣GenAI實施挑戰(zhàn)。該方法引入了跨越邊緣設備、邊緣服務器和云服務器的層次架構�；谶@一架構，TeleAI設想推理工作負載可以在不同層之間共享，同時不影響速度和質量。AI Flow引入了幾種協作推理范式，包括：
·需要中等計算資源的任務的設備-邊緣協作
·需要大量計算能力的復雜任務的設備-邊緣-云集成
實施策略將每個推理步驟放置在最合適的硬件上，優(yōu)化性能和效率。
最重要的是，這種結構實現了推理任務的靈活分配，初始數據處理發(fā)生在網絡邊緣，而更復雜的計算在必要時利用云資源。這允許基于任務需求和可用資源進行動態(tài)工作負載分配。
為確保信息流和知識共享的無縫進行，該框架依賴于一種稱為家族模型的模型架構。家族模型是具有高度靈活參數配置的基于transformer的基礎模型的子集。這種新型模型架構支持對總參數數量進行精細調整，通過transformer塊內線性層的自適應權重分解實現。這一特性使其能夠輕松部署在各種設備上。
家族模型的靈活性使用戶能基于實時網絡條件進行自適應資源分配。具體而言，AI Flow架構在云端基礎設施的強大計算集群上部署了具有數百億參數的大模型，同時在資源受限的用戶設備和邊緣服務器上部署了更輕量級的家族模型。這些模型共享可跨設備傳輸的相同特征，從而使工作負載分區(qū)更有效地滿足計算需求和提高數據傳輸效率。
該設計支持分段式推理，邊緣設備的較小模型生成初始推理輸出，傳輸至鄰近的邊緣服務器進行改進以增強準確性，最后返回至用戶。由于交換是近實時的，用戶將收到大幅改進的輸出，因為該架構能夠從托管在邊緣服務器上的大型模型獲得更豐富的響應，而不是僅依賴于托管在用戶設備上的較小模型。
AI Flow促進無縫的智能流動，允許設備級智能體克服單個設備的限制，實現增強的功能。相同的通信網絡能夠跨異構節(jié)點連接先進的LLM、VLM和VLAM。通過促進實時的協同集成和這些模型之間的動態(tài)交互，該方法實現了超越單一模型能力的涌現智能。AI Flow的核心是利用部署在網絡邊緣協作多智能體系統(tǒng)（MAS），在那里互連的智能體一起解決需要適應能力和快速響應的復雜、現實世界任務。邊緣計算與基于智能體的系統(tǒng)的協同效應提高了AI應用的可擴展性和效率，因為這些智能體能夠共享中間表示、上下文信息和反饋信號。TeleAI認為AI Flow會改變具身AI、可穿戴設備和智慧城市應用等新興GenAI應用的游戲規(guī)則。
公司介紹
背景情況
中國電信成立于2000年9月，是一家在《財富》雜志“世界500強企業(yè)”中有極大影響力的國有電信巨頭，擁有超8000億元資產，年收入超721億美元。該公司歷來是移動通信網絡方面的領導者，最近將其戰(zhàn)略重心轉向AI和數字化轉型。TeleAI（中國電信人工智能研究所）在建立該公司的“1+1+1+M+N”AI系統(tǒng)框架方面起重要作用。該框架指1個智算云底座、1個數據底座、1個星辰基礎模型、M個內部大模型以及N個行業(yè)特定大模型應用。該基礎模型已在政務、醫(yī)療保健、教育等50多個行業(yè)中部署，賦能全球超600個項目，且服務超過100個國家和地區(qū)。
現狀
TeleAI于2024年5月成立，并于2024年7月正式揭牌。在在中國電信首席技術官兼首席科學家李學龍教授的領導下，TeleAI正在加速AI Flow研究，同時拓展AI治理、AI智能體和智能光電子（重點關注具身AI）等關鍵領域。該研究所是GenAI領域的重要創(chuàng)新者。它建立并發(fā)布了星辰基礎模型系統(tǒng)，涵蓋語義、語音、視覺和多模態(tài)能力四個關鍵領域。此外，TeleAI還完成了中國首個利用超過10000個國產圖形處理單元（GPU）訓練的萬億參數大模型。
2025年2月，該研究所發(fā)布了AI Flow的研究成果，這是一個旨在通過有效利用設備、邊緣節(jié)點和云服務器之間的異構資源來優(yōu)化推理過程的新型框架。通過各種GenAI模型之間的創(chuàng)新連接和交互范式，AI Flow實現了超越任何單一模型能力的涌現智能，使強大的AI應用能夠在網絡邊緣運行。
未來計劃
展望未來，TeleAI將擴展AI Flow在邊緣智能、LLM、多模態(tài)AI、聯邦學習和智能網絡管理等先進領域的范圍和能力，以推動AI Flow在現實世界部署中的能力進步。通過其結合信息技術和通信技術的多學科方法，中國電信正在重塑行業(yè)格局，實現不同領域中智能技術的大規(guī)模應用。該公司認為AI Flow能夠幫助彌補GenAI應用的高要求與邊緣設備受限本質之間的差距，同時促進跨異構系統(tǒng)的協作。
為推廣其GenAI能力，TeleAI正積極與全球行業(yè)參與者建立合作伙伴關系，以創(chuàng)建一個開放的AI生態(tài)，探索更多智能應用場景，并加快AI技術的全球采用。該公司的全球AI生態(tài)合作計劃代表朝著建設下一代全球數字基礎設施邁出的重要一步，它將利用AI技術深度賦能各行各業(yè)，推動數字經濟向前發(fā)展。中國電信還在通過全球云網寬帶產業(yè)協會（WBBA）等各種行業(yè)組織推廣其GenAI議程，以加快GenAI技術的全球采用和實施。
分析師點評
GenAI的進步已導致其在多個行業(yè)的廣泛采用。根據Omdia的人工智能軟件市場預測，全球GenAI軟件收入預計將在2025年達到263億美元，到2029年增長至1013億美元。領先市場包括零售、金融服務、醫(yī)療保健、自動駕駛和媒體娛樂。在所有用例中，人形機器人、自動駕駛和自主無人機等邊緣GenAI應用是增長最快的領域之一。不幸的是，這些設備資源受限，需要超低延遲以實現準確推理和多智能體協調。
Omdia認為AI Flow在這些復雜應用的實現中扮演關鍵角色。作為結合計算和通信技術的框架，AI Flow展示了負載平衡、工作負載調度和高效資源分配的復雜方法。隨著邊緣AI部署規(guī)模擴大和多樣化，這些能力將變得越來越重要，需要跨異構環(huán)境進行智能編排。設備-邊緣-云計算架構戰(zhàn)略性地將每個推理工作負載放置在最合適的硬件上，優(yōu)化性能和效率。家族模型的引入實現了用戶設備和在線服務器之間的協作推理，而AI Flow的三層架構支持分布式智能系統(tǒng)中的可擴展多智能體協作。
隨著這些技術的成熟，該框架的靈活架構將能夠整合新的計算范式和通信協議，確保長期相關性和適應性。AI Flow也有良好的定位，可以與6G和量子計算等新興技術集成，以解決未來在安全、隱私和可擴展性方面的挑戰(zhàn).
