在人工智能領(lǐng)域，大語言模型的訓(xùn)練與推理成本一直是限制技術(shù)普及的關(guān)鍵因素之一。近日，北京大學(xué)人工智能研究院助理教授張牧涵團(tuán)隊(duì)在鯤鵬昇騰科教創(chuàng)新卓越中心（簡稱“卓越中心”）提供的算力支持下，成功研發(fā)出一套高效的大模型訓(xùn)練推理架構(gòu)，實(shí)現(xiàn)了百萬tokens輸入成本低至1元，為產(chǎn)業(yè)提供了高效能、低成本的解決方案。
此研究成果包括三項(xiàng)關(guān)鍵技術(shù)創(chuàng)新。首先，目前廣泛使用的相對(duì)位置編碼存在較大的稀疏性，團(tuán)隊(duì)通過將每個(gè)注意力頭中的位置信息和非位置信息分離，對(duì)位置編碼進(jìn)行了低秩壓縮，僅使用3%的位置信息，即可維持原有表達(dá)能力。該方法通過優(yōu)化昇騰硬件的flash-attention算子，使得注意力頭的參數(shù)得到更高效利用。
第二，非位置編碼信息在原始模型中通常處于被抑制狀態(tài)。通過將位置編碼與非位置編碼分離，非位置編碼得到了較大的壓縮空間。團(tuán)隊(duì)采用了聯(lián)合KV的低秩壓縮方法，僅保留12.5%的KV Cache即可維持原始模型的能力。這一方法能夠有效利用昇騰硬件高效的計(jì)算能力，減輕訪存壓力，顯著提升推理效率。
最后，基于昇騰硬件在出色的并行計(jì)算能力，團(tuán)隊(duì)實(shí)現(xiàn)的Recurrent Decoding（RD）技術(shù)通過替換LM-head提升了訓(xùn)練數(shù)據(jù)利用率并加速了推理。在訓(xùn)練階段，RD通過將解碼出的多個(gè)tokens與target tokens進(jìn)行對(duì)比，實(shí)現(xiàn)了訓(xùn)練數(shù)據(jù)的高效利用；在推理階段，結(jié)合投機(jī)推理顯著提高了tokens的采樣通過率，進(jìn)而提升了推理速度。
這一成果得到了學(xué)術(shù)界的廣泛關(guān)注，不僅為科研提供了可復(fù)用的高效架構(gòu)，也為AI大模型在企業(yè)中的應(yīng)用大幅降低了成本。自去年6月成立以來，北京大學(xué)與華為在產(chǎn)業(yè)前沿課題的聯(lián)合攻關(guān)持續(xù)推進(jìn)，本次成果驗(yàn)證了昇騰算力平臺(tái)支撐尖端科研的技術(shù)實(shí)力。卓越中心將繼續(xù)深入開展大模型關(guān)鍵技術(shù)創(chuàng)新，為構(gòu)建中國技術(shù)生態(tài)提供堅(jiān)實(shí)支撐。
