近期，中國(guó)移動(dòng)實(shí)現(xiàn)智算萬(wàn)卡池在長(zhǎng)周期訓(xùn)練場(chǎng)景下持續(xù)穩(wěn)定運(yùn)行，訓(xùn)練穩(wěn)定性達(dá)到行業(yè)領(lǐng)先水平，有效解決了超大規(guī)模算力集群調(diào)度、高可靠通信保障、故障智能診斷與快速自愈等業(yè)界難題。
隨著人工智能技術(shù)的爆發(fā)式發(fā)展，大模型參數(shù)規(guī)模從百億級(jí)向萬(wàn)億級(jí)躍升，對(duì)智算基礎(chǔ)設(shè)施的算力密度、穩(wěn)定性和協(xié)同效率提出了前所未有的挑戰(zhàn)。針對(duì)萬(wàn)卡級(jí)規(guī)模協(xié)同訓(xùn)練場(chǎng)景，全球普遍面臨智算集群穩(wěn)定性瓶頸問(wèn)題。中國(guó)移動(dòng)依托哈爾濱數(shù)據(jù)中心智算集群，主導(dǎo)研發(fā)全調(diào)度以太網(wǎng)（GSE）技術(shù)體系，打造慢卡慢網(wǎng)絡(luò)風(fēng)險(xiǎn)識(shí)別、斷點(diǎn)續(xù)訓(xùn)、AI運(yùn)維智能體等新技術(shù)，攻克了超大規(guī)模智算基礎(chǔ)設(shè)施運(yùn)行的關(guān)鍵技術(shù)瓶頸。在協(xié)同管理機(jī)制上，中國(guó)移動(dòng)以“五個(gè)一”卓越運(yùn)維體系為指導(dǎo)，通過(guò)多輪流程優(yōu)化攻堅(jiān)，將故障處理流程大幅壓縮，實(shí)現(xiàn)客戶需求“一點(diǎn)響應(yīng)”的端到端閉環(huán)。
中國(guó)移動(dòng)“五個(gè)一”智算運(yùn)維體系
在關(guān)鍵技術(shù)突破層面，團(tuán)隊(duì)重點(diǎn)攻關(guān)三大核心難題。一是創(chuàng)新慢卡慢網(wǎng)絡(luò)風(fēng)險(xiǎn)識(shí)別技術(shù)，實(shí)現(xiàn)典型場(chǎng)景故障全部感知、提升診斷準(zhǔn)確率；二是研發(fā)斷點(diǎn)續(xù)訓(xùn)機(jī)制，實(shí)現(xiàn)故障節(jié)點(diǎn)自動(dòng)隔離后訓(xùn)練狀態(tài)的分鐘級(jí)回滾，硬件故障導(dǎo)致的斷訓(xùn)量下降50%；三是引入AI運(yùn)維智能體，通過(guò)多層架構(gòu)日志分析系統(tǒng)實(shí)現(xiàn)分鐘級(jí)故障定界，覆蓋25類(lèi)軟硬件故障解決方案，將故障處理時(shí)長(zhǎng)從數(shù)天級(jí)降至分鐘級(jí)。訓(xùn)練任務(wù)使用一萬(wàn)余張NPU板卡，全程保持集群可用率、服務(wù)可用率達(dá)到三個(gè)九的超高穩(wěn)定性，其中NPU故障占比、光鏈路故障率大幅降低，充分驗(yàn)證了技術(shù)方案的有效性。
NPU端口異常導(dǎo)致性能劣化場(chǎng)景案例展示
在卓越運(yùn)維能力方面，中國(guó)移動(dòng)在黑龍江、廣東打造了智算運(yùn)維樣板間，首創(chuàng)訓(xùn)推一體的智算統(tǒng)一運(yùn)維體系，率先構(gòu)建了覆蓋應(yīng)用、模型、算力全棧的智能運(yùn)維能力，業(yè)界領(lǐng)先探索應(yīng)用-模型-算力的最佳實(shí)踐與黃金運(yùn)維指標(biāo)體系，依托AI技術(shù)實(shí)現(xiàn)分鐘級(jí)智算業(yè)務(wù)故障智能處置修復(fù)和能效算效雙優(yōu)，支撐黨政、金融、教育等十大行業(yè)優(yōu)勢(shì)卡位，賦能智能制造、生態(tài)保護(hù)、智慧政務(wù)、隱私保護(hù)等社會(huì)關(guān)鍵領(lǐng)域，支撐外部客戶數(shù)百場(chǎng)智算樣板間參觀展示、近百次頂層規(guī)劃和解決方案設(shè)計(jì)，創(chuàng)造超10億元直接經(jīng)濟(jì)效益。
中國(guó)移動(dòng)智算運(yùn)維樣板間正式發(fā)布
中國(guó)移動(dòng)這一系列突破遠(yuǎn)超技術(shù)層面，從行業(yè)維度看，智算萬(wàn)卡池長(zhǎng)穩(wěn)訓(xùn)練時(shí)長(zhǎng)的大幅度提升，標(biāo)志著我國(guó)在超大規(guī)模智算集群管控領(lǐng)域已具備領(lǐng)先水平，兩大智算運(yùn)維樣板間也必將充分發(fā)揮產(chǎn)業(yè)示范和標(biāo)桿作用，不僅在國(guó)內(nèi)形成示范，更為全球超大規(guī)模智算集群的訓(xùn)練與運(yùn)維提供了中國(guó)方案和中國(guó)標(biāo)準(zhǔn)；從經(jīng)濟(jì)價(jià)值看，長(zhǎng)穩(wěn)運(yùn)行能力直接將大模型訓(xùn)練周期縮短近三分之一，資源利用率近100%，為AI技術(shù)工業(yè)化量產(chǎn)奠定基礎(chǔ)；從社會(huì)價(jià)值看，穩(wěn)定的智算底座可支撐自動(dòng)駕駛、生物醫(yī)藥、新材料研發(fā)等前沿領(lǐng)域的突破，加速科技創(chuàng)新與產(chǎn)業(yè)升級(jí)，成為推動(dòng)新質(zhì)生產(chǎn)力發(fā)展和經(jīng)濟(jì)社會(huì)數(shù)智化轉(zhuǎn)型的核心引擎。
未來(lái)，中國(guó)移動(dòng)將持續(xù)引領(lǐng)智算先鋒產(chǎn)業(yè)，大力推動(dòng)算力基礎(chǔ)設(shè)施從“通算為主”向“云智算”轉(zhuǎn)變，支撐多樣化、個(gè)性化、極致化計(jì)算需求，構(gòu)筑新一代智能算力服務(wù)體系，從支撐大模型研發(fā)到賦能實(shí)體經(jīng)濟(jì)，以領(lǐng)先的智算基礎(chǔ)設(shè)施為我國(guó)人工智能產(chǎn)業(yè)加速升級(jí)提供堅(jiān)實(shí)可靠的算力底座，為中國(guó)數(shù)字經(jīng)濟(jì)高質(zhì)量發(fā)展注入澎湃動(dòng)能。
