近日,中國電信廣東公司聯(lián)合中國電信研究院,在智算網(wǎng)絡領域實現(xiàn)重大技術突破,成功完成Deepseek-671B滿血版長距跨數(shù)據(jù)中心(DC)分布式無損智算推理網(wǎng)絡的技術驗證。該成果為企業(yè)按需擴容算力及推理數(shù)據(jù)本地化存儲提供了突破性的技術解決方案,標志著中國電信在智算網(wǎng)絡技術創(chuàng)新上邁出關鍵一步。
(中國電信廣東公司跨DC分布式無損智算推理試驗環(huán)境)
本次實驗將推理的Prefill任務放在邊緣節(jié)點執(zhí)行,部署少量算力,模擬企業(yè)園區(qū)數(shù)據(jù)中心,將推理的Decode任務放在云上,部署更多的算力,云、邊之間通過KV Cache進行協(xié)同,有效降低推理服務成本,提升邊緣節(jié)點的推理服務體驗。本次實驗基于昇騰PD分離的大EP推理架構,對DeepSeek 671B滿血版模型開展壓力驗證,系統(tǒng)評估了8:1、32:1、64:1三種帶寬收斂比下的運行表現(xiàn)。結果顯示,憑借智算無損網(wǎng)絡低延遲、高吞吐的特性,結合PD分離架構設計,即使在帶寬收斂比64:1、百公里級長距拉遠場景下,TTFT、TPOT、Throughput三個關鍵指標可以達到同DC場景的99%,仍能充分滿足推理服務的SLA要求,既保障遠端算力資源穩(wěn)定高效支持企業(yè)AI推理任務,又嚴格滿足數(shù)據(jù)不出園區(qū)的安全要求。
這一技術突破為企業(yè)算力部署模式帶來革命性變革。依托智算無損網(wǎng)絡,企業(yè)僅需在園區(qū)部署少量算力服務器,結合云端海量的算力資源,即可實現(xiàn)算力資源的靈活調用,有效降低硬件投入成本,突破物理空間限制。而PD分離架構則通過數(shù)據(jù)與處理分離的創(chuàng)新設計,全方位保障數(shù)據(jù)在傳輸與處理過程中的安全性,為企業(yè)核心數(shù)據(jù)資產(chǎn)筑牢安全防線。
此次驗證的圓滿成功,不僅彰顯了中國電信在智算網(wǎng)絡領域的技術實力,更為AI技術的普及應用奠定了堅實基礎。未來,中國電信將持續(xù)深化與行業(yè)伙伴的合作,加速智算網(wǎng)絡技術創(chuàng)新與落地實踐,全力助推企業(yè)數(shù)字化轉型,為數(shù)字經(jīng)濟高質量發(fā)展注入強勁動能。