Deepseek加速行業(yè)推理應(yīng)用，面向企業(yè)算力租用以及推理數(shù)據(jù)不出園區(qū)的用算需求，上海電信基于“智云上海”新型基礎(chǔ)架構(gòu)，部署華為星河路由器打造400GE IP智算城域POD，提供分布式云邊協(xié)同推理方案，加速算力資源在運(yùn)營(yíng)商和企業(yè)側(cè)高效流轉(zhuǎn)，降低企業(yè)的AI使用門檻，推動(dòng)AI技術(shù)的普惠化進(jìn)程。
隨著數(shù)字經(jīng)濟(jì)時(shí)代全面開(kāi)啟，算力正為各行各業(yè)的數(shù)字化轉(zhuǎn)型注入新動(dòng)能。各個(gè)企業(yè)加速行業(yè)推理應(yīng)用，以央國(guó)企，政教醫(yī)等多行業(yè)為代表，85%的訓(xùn)推算力需求通過(guò)租賃運(yùn)營(yíng)商的算力資源來(lái)滿足。由于企業(yè)私有數(shù)據(jù)敏感，要求數(shù)據(jù)不出園區(qū)，越來(lái)越多的企業(yè)要求租賃的算力資源部署在園區(qū)內(nèi)部。但受限于散熱和供電等條件等限制，園區(qū)內(nèi)部無(wú)法規(guī)模部署算力服務(wù)器，整體承載算力有限。上海電信打造的400GE IP智算城域POD成為聯(lián)接企業(yè)園區(qū)和運(yùn)營(yíng)商智算中心的數(shù)字底座，云邊協(xié)同訓(xùn)推方案為企業(yè)提供高品質(zhì)算網(wǎng)一體服務(wù)，該方案具備如下亮點(diǎn)：
云邊協(xié)同推理，分布式推理效率不下降: 為了匹配推理算力快速增長(zhǎng)的需求，企業(yè)優(yōu)化推理模型部署，將模型部分Prefill層部署在本地算力服務(wù)器，將Decode層部署在運(yùn)營(yíng)商智算中心的推理池內(nèi)，本地算力和云端推理池通過(guò)智算廣域網(wǎng)來(lái)傳輸不可還原的中間數(shù)據(jù)層，保護(hù)企業(yè)敏感數(shù)據(jù)不泄露。分布式推理模式一方面滿足企業(yè)數(shù)據(jù)傳輸安全的訴求，另一方面企業(yè)可以靈活租賃運(yùn)營(yíng)商的推理算力資源來(lái)應(yīng)對(duì)推理需求的變化。經(jīng)現(xiàn)網(wǎng)測(cè)試驗(yàn)證，智算廣域網(wǎng)絡(luò)提供的RDMA無(wú)損傳輸技術(shù)實(shí)現(xiàn)基于DeepSeek跨240公里拉遠(yuǎn)推理效率不下降。
RDMA無(wú)損傳輸，模型拉遠(yuǎn)訓(xùn)練效率不下降：部分行業(yè)客戶采用基礎(chǔ)大模型疊加私有行業(yè)數(shù)據(jù)進(jìn)行二次訓(xùn)練和模型微調(diào)，企業(yè)將私有行業(yè)數(shù)據(jù)部署在園區(qū)，租用運(yùn)營(yíng)商智算中心算力卡進(jìn)行存算分離拉遠(yuǎn)訓(xùn)練。智算業(yè)務(wù)傳輸采用RDMA協(xié)議，協(xié)議本身對(duì)丟包率的敏感度提升了1個(gè)數(shù)量級(jí)，千分之一的丟包導(dǎo)致模型訓(xùn)練效率下降50%。智算IP城域POD里每臺(tái)路由器能夠深度識(shí)別RDMA報(bào)文，通過(guò)千萬(wàn)流秒級(jí)調(diào)度以及流級(jí)精準(zhǔn)流控技術(shù)實(shí)現(xiàn)廣域RDMA無(wú)損傳輸，跨百公里拉遠(yuǎn)算效不下降。
400GE彈性算網(wǎng)，模型快速部署：企業(yè)在運(yùn)營(yíng)商智算中心完成模型訓(xùn)練后，需要將模型快速部署在企業(yè)指定的推理池內(nèi)。傳統(tǒng)基于數(shù)據(jù)拷貝加硬盤快遞的線下模式，模型搬運(yùn)周期長(zhǎng)，并且在運(yùn)輸過(guò)程中存在丟失損壞的風(fēng)險(xiǎn)。智算IP城域POD支持100M-100G彈性專線實(shí)現(xiàn)TB級(jí)數(shù)據(jù)分鐘達(dá)，實(shí)現(xiàn)數(shù)據(jù)模型敏捷部署。
面向未來(lái)，上海電信攜手華為繼續(xù)完善云邊訓(xùn)推一體的方案內(nèi)涵，基于面向AI WAN的智算IP廣域網(wǎng)方案，為企業(yè)內(nèi)部以及各行業(yè)、各領(lǐng)域的數(shù)字化、智能化轉(zhuǎn)型提供強(qiáng)大動(dòng)力，在新時(shí)代的競(jìng)爭(zhēng)中搶占先機(jī)，實(shí)現(xiàn)可持續(xù)發(fā)展。 
