AI算力行業(yè)專題報(bào)告：從英偉達(dá)的視角看算力互連板塊成長(zhǎng)性，Scale Up 網(wǎng)絡(luò)的“Scaling Law”存在嗎？.pdf

AI算力行業(yè)專題報(bào)告：從英偉達(dá)的視角看算力互連板塊成長(zhǎng)性，Scale Up 網(wǎng)絡(luò)的“Scaling Law”存在嗎？

我們認(rèn)為Scale Up網(wǎng)絡(luò)存在Scaling Law，Scale Up柜間第二層網(wǎng)絡(luò)會(huì)逐漸出現(xiàn)，光+AEC連接多出與 芯片1:9的配比需求，交換機(jī)多出與芯片4:1的配比需求，相較Scale Out網(wǎng)絡(luò)均倍增：

1.英偉達(dá)持續(xù)擴(kuò)大Scale Up規(guī)模：英偉達(dá)正通過(guò)兩大路徑持續(xù)擴(kuò)大Scale Up網(wǎng)絡(luò)規(guī)模。2）提升單卡帶 寬：NVLink持續(xù)迭代，NVLink 5.0單卡帶寬達(dá)7200Gb/s；2）擴(kuò)大超節(jié)點(diǎn)規(guī)模：Scale Up超節(jié)點(diǎn)規(guī)模 不斷擴(kuò)大，從H100 NVL8到GH200再到GB200等，NVL72等機(jī)柜方案可以提高訓(xùn)推效率，但并不是 Scale Up的上限， NVL72等機(jī)柜后續(xù)會(huì)作為最小的節(jié)點(diǎn)（Node）存在，像積木一樣在柜與柜之間進(jìn) 一步拼出更大的Scale Up超節(jié)點(diǎn)，屆時(shí)需要光連接等進(jìn)行通信。

2.為什么需要Scale Up網(wǎng)絡(luò)：“內(nèi)存墻”問(wèn)題和AI計(jì)算范式演進(jìn)推動(dòng)Scale Up網(wǎng)絡(luò)升級(jí)。 “內(nèi)存墻”：?jiǎn)我淮竽Ｐ偷膮?shù)量與單卡顯存的差距（即模型內(nèi)存墻）、單卡算力與單卡顯存間的差距（即算力內(nèi) 存墻）均逐代放大，通過(guò)Scale Up將顯存池化。計(jì)算范式：為了提升計(jì)算效率，在進(jìn)行數(shù)據(jù)并行、流 水線并行的同時(shí)也采用張量并行與專家并行，后者對(duì)通信頻次、容量的要求都跨越數(shù)量級(jí)。

3.為什么需要更大的Scale Up網(wǎng)絡(luò)：TCO、用戶體驗(yàn)、模型能力拓展。隨著單用戶每秒消耗的Token 數(shù)（Tokens Per Second，TPS）提高，包括NVL72在內(nèi)的現(xiàn)有服務(wù)器單卡性能都會(huì)逐漸坍縮，在用戶 體驗(yàn)持續(xù)提升、模型能力拓展的趨勢(shì)下，單用戶TPS必然增長(zhǎng)，采用更大規(guī)模的Scale Out能提高單 卡有效性能，TCO也更具經(jīng)濟(jì)性。我們認(rèn)為Scale Up規(guī)模與預(yù)期單用戶TPS、單卡實(shí)際性能間存在 Scaling Law，前者會(huì)隨后者非線性增長(zhǎng)。

4.怎么組建更大的Scale Up網(wǎng)絡(luò)：網(wǎng)絡(luò)結(jié)構(gòu)層面，在柜間搭建第二層Scale Up交換機(jī)；端口連接層面， 光與AEC有望在第二層網(wǎng)絡(luò)中并存，按照最新的NVLink與IB標(biāo)準(zhǔn)測(cè)算，1顆GPU需要9個(gè)額外的等效 1.6T連接，為Scale Out網(wǎng)絡(luò)的3-4.5倍，每4顆GPU需要額外1臺(tái)交換機(jī)，為Scale Out網(wǎng)絡(luò)的7.5-12倍。