計算機行業(yè)新型智算中心改造專題報告：網(wǎng)絡成大模型訓練瓶頸，節(jié)點內(nèi)外多方案并存.pdf

計算機行業(yè)新型智算中心改造專題報告：網(wǎng)絡成大模型訓練瓶頸，節(jié)點內(nèi)外多方案并存。AI大模型訓練和推理拉動智能算力需求快速增長。a）模型迭代和數(shù)量增長拉動AI算力需求增長：從單個模型來看，模型能力持續(xù)提升依賴于更 大的訓練數(shù)據(jù)量和模型參數(shù)量，對應更高的算力需求；從模型的數(shù)量來看，模型種類多樣化（文生圖、文生視頻）和各廠商自主模型的研發(fā)，均 推動算力需求的增長。b）未來AI應用爆發(fā)，推理側(cè)算力需求快速增長：各廠商基于AI大模型開發(fā)各類AI應用，隨著AI應用用戶數(shù)量爆發(fā)，對應推 理側(cè)算力需求快速增長。

智算中心從集群走向超級池化。智算中心是以GPU、AI加速卡等智能算力為核心，集約化建設的新型數(shù)據(jù)中心；隨著大模型普遍進入萬億規(guī)模，算 力、顯存、互聯(lián)需求再次升級，高速互聯(lián)的百卡“超級服務器”可能成為新的設備形態(tài)，智算中心將走向超級池化階段，對設備形態(tài)、互聯(lián)方案、 存儲、平臺、散熱等維度提出新的要求。

網(wǎng)絡互聯(lián)：節(jié)點內(nèi)外多方案并存。1）節(jié)點內(nèi)：私有方案以英偉達NVLink為代表，NVLink已經(jīng)發(fā)展至第五代產(chǎn)品，同時支持576個GPU之間的無縫高 速通信；開放技術方案以OAM和UBB為主，OCP組織定義了業(yè)內(nèi)通用的AI扣卡模組形態(tài)（OAM）-基板拓撲結(jié)構(gòu)（UBB）設計規(guī)范。2）節(jié)點間：主要方 案為Infiniband和RoCEv2；Infiniband網(wǎng)絡主要包括InfiniBand網(wǎng)卡、InfiniBand交換機、Subnet Management（SM）、連接件組成；RoCEv2網(wǎng)絡 是一個純分布式的網(wǎng)絡，由支持RoCEv2的網(wǎng)卡和交換機、連接件、流控機制組成。InfiniBand在網(wǎng)絡性能、集群規(guī)模、運維等方面具備顯著優(yōu)勢。