C114訊 1月16日消息（陳宦杰）AI時(shí)代已經(jīng)來(lái)臨。大模型等新興AI應(yīng)用需求海量的算力支撐，一座座智算中心拔地而起，規(guī)模龐大的萬(wàn)卡集群逐漸投入商用。如何更好地實(shí)現(xiàn)智算中心互聯(lián)，服務(wù)AI應(yīng)用創(chuàng)新發(fā)展，業(yè)界做了大量研究工作。
1月16日，作為“2025中國(guó)光通信高質(zhì)量發(fā)展論壇”的開(kāi)篇之作，“智算中心互聯(lián)：算網(wǎng)協(xié)同，構(gòu)筑智算互聯(lián)新底座”線上研討會(huì)順利召開(kāi)，邀約產(chǎn)業(yè)鏈專(zhuān)家代表，圍繞智算中心間跨地域、跨層級(jí)、跨主體、高可靠的算力協(xié)同與調(diào)度，以及智算中心互聯(lián)關(guān)鍵技術(shù)等話題展開(kāi)了深入探討。
研討會(huì)期間，鵬城實(shí)驗(yàn)室云腦研究所副所長(zhǎng)張士勛應(yīng)邀作了題為《智算中心高性能網(wǎng)絡(luò)系統(tǒng)多維度思考》的主題報(bào)告，深入分析了智算中心的計(jì)算模式與智算網(wǎng)絡(luò)的多維度特征。
并行方案解鎖大模型高效計(jì)算
歷經(jīng)數(shù)十年的發(fā)展，AI模型的參數(shù)規(guī)模持續(xù)膨脹，模型的種類(lèi)逐漸收斂。當(dāng)下，智算中心已成為大模型訓(xùn)練與推理的核心舞臺(tái)，通過(guò)將單一計(jì)算任務(wù)巧妙切分，并運(yùn)用數(shù)千甚至數(shù)萬(wàn)個(gè)AI芯片加速執(zhí)行，智算中心有望實(shí)現(xiàn)堪比單臺(tái)計(jì)算機(jī)執(zhí)行一個(gè)任務(wù)的高效協(xié)同作業(yè)。
在攻克AI芯片間的高效協(xié)同難題，進(jìn)而推動(dòng)智算中心向“DC as a Computer”演進(jìn)的征程中，如何通過(guò)并行方案賦能大模型高效計(jì)算，是一個(gè)亟待破解的關(guān)鍵課題。
目前，業(yè)界已形成多種成熟的并行方案，如張量并行、數(shù)據(jù)并行、流水線并行。張量并行將矩陣精準(zhǔn)切分，再把不同的矩陣塊分別置于不同的 GPU 上，通信頻繁且通信量較大，但為模型的高效訓(xùn)練提供了有力支撐；數(shù)據(jù)并行巧妙地將訓(xùn)練數(shù)據(jù)進(jìn)行切分，使每個(gè)GPU能夠獨(dú)立訓(xùn)練其中的一部分?jǐn)?shù)據(jù)，降低了通信量；流水線并行依據(jù)模型架構(gòu)的層次進(jìn)行切分，將不同的層分別放置于不同的GPU上，只在層的交界處進(jìn)行通信，使得通信量相對(duì)較小。不同類(lèi)型的并行方案需要不同的通信策略和網(wǎng)絡(luò)架構(gòu)支持，智算中心互聯(lián)架構(gòu)的發(fā)展方向有待進(jìn)一步探索與研究。
智算網(wǎng)絡(luò)的四大特征
談及智算網(wǎng)絡(luò)的多維特征時(shí)，張士勛例舉了四大關(guān)鍵點(diǎn)。
其一，智算網(wǎng)絡(luò)以GPU為中心。GPU成為算力的提供者，數(shù)據(jù)存儲(chǔ)于其上。因此，GPU卡間通信成為主要的通信模式，通過(guò)RDMA網(wǎng)絡(luò)，可以實(shí)現(xiàn)高效的數(shù)據(jù)交換。
其二，在智算網(wǎng)絡(luò)中，GPU的通信模式比較固定�？ㄩg的通信模式具有很高的確定性，典型集合通信模式能夠覆蓋絕大部分場(chǎng)景。
其三，智算網(wǎng)絡(luò)采用雙平面的組網(wǎng)方案，兼具高帶寬與低時(shí)延特性。其中，Scale-out網(wǎng)絡(luò)適用于大規(guī)模組網(wǎng)，涵蓋數(shù)萬(wàn)到數(shù)十萬(wàn)GPU的龐大集群，協(xié)議基于InfiniBand/RoCE，速率可達(dá)400Gbps/800Gbps；Scale-up網(wǎng)絡(luò)則是局域高帶寬網(wǎng)絡(luò)，覆蓋數(shù)個(gè)至數(shù)百GPU的小集群，協(xié)議基于NVLink/HCCS等，速率高達(dá)數(shù)Tbps級(jí)。
其四，智算網(wǎng)絡(luò)需要軟硬件協(xié)同優(yōu)化。在傳統(tǒng)的計(jì)算模式下，計(jì)算和通信依次執(zhí)行，通信環(huán)節(jié)的占比可能超過(guò)50%，這導(dǎo)致GPU長(zhǎng)時(shí)間處于空閑狀態(tài)。經(jīng)過(guò)優(yōu)化，通信和計(jì)算實(shí)現(xiàn)了相互疊加執(zhí)行，GPU約有35%的時(shí)間用于等待通信。自2022年之后，通信和計(jì)算進(jìn)一步深度重疊，業(yè)界主流的網(wǎng)絡(luò)可以將通信占比降至7%，設(shè)備性能得以充分釋放，硬件帶寬和軟件算法相輔相成。
此外，針對(duì)業(yè)界關(guān)心的高性能芯片供應(yīng)受限的困境，張士勛表示，可以通過(guò)軟件、硬件、模型的聯(lián)合優(yōu)化，提升訓(xùn)練效果，推進(jìn)高水平科技自立自強(qiáng)。利用有限的硬件資源實(shí)現(xiàn)高階的AI，是一個(gè)極具探索價(jià)值的方向。 
