計算機行業(yè)：NV Rubin新架構(gòu)&Agent存儲最強方向，GPU Native數(shù)據(jù)庫【星環(huán)科技】.pdf
- 上傳者：v*****
- 時間：2026/01/09
- 熱度：440
- 0人點贊
- 舉報
計算機行業(yè)：NV Rubin新架構(gòu)&Agent存儲最強方向，GPU Native數(shù)據(jù)庫【星環(huán)科技】。存儲瓶頸影響AI推理速度。每生成1個Token(一個詞)，GPU都要把整個過去的對話歷史(即KVCache)從顯存里讀一遍。隨著對話變長，KVCache的體積會線性膨脹。這個"讀一遍"的過程極其消耗帶寬。我們希望AI可以記住跟它進行的每一次對話，現(xiàn)在的做法是把KVCache放在 HBM里(因為它夠快)，但HBM又貴，容量又小，前一代的解決方案是利用NVLink-C2C把 Grace CPU的大內(nèi)存(LPDDR5X)當成GPU的擴展顯存用，這個不夠用了，第二個方法是數(shù)據(jù)溢出后，通過"南北向網(wǎng)絡(luò)"(North-SouthNetwork)去讀取遠端的存儲服務(wù)器，這個問題是太慢了，網(wǎng)絡(luò)帶寬被擠爆，延遲無法接受。
免責聲明：本文 / 資料由用戶個人上傳，平臺僅提供信息存儲服務(wù)，如有侵權(quán)請聯(lián)系刪除。
- 相關(guān)標簽
- 相關(guān)專題
熱門下載
- 全部熱門
- 本年熱門
- 本季熱門
- 計算機行業(yè)：NV Rubin新架構(gòu)&Agent存儲最強方向，GPU Native數(shù)據(jù)庫【星環(huán)科技】.pdf 441 5積分
- 勝宏科技研究報告：全球AI PCB龍頭，深度受益GPU+ASIC需求提升.pdf 335 6積分
- 2025年中國汽車生命周期數(shù)據(jù)庫（CALCD 3.0）使用手冊（英文版）.pdf 312 6積分
- 計算機行業(yè)專題報告：GPU+ASIC滲透加速，液冷市場規(guī)模再添增量.pdf 297 6積分
- 圖形化GPU產(chǎn)業(yè)調(diào)研報告.pdf 294 26積分
- 2025一體化數(shù)據(jù)庫：GenAI 時代數(shù)據(jù)底座白皮書.pdf 271 6積分
- 亞信安慧（洪建輝）：AntDB融合數(shù)據(jù)庫實時流數(shù)據(jù)處理引擎揭秘.pdf 228 6積分
- PingCAP（孫曉光）：TiDB Serverless的云原生架構(gòu)進化：從0到2萬+集群的極速狂奔.pdf 183 6積分
- 2025年中國分布式數(shù)據(jù)庫發(fā)展研究白皮書-釋放數(shù)據(jù)價值助力企業(yè)加速發(fā)展.pdf 130 6積分
- 2025年金融科技新基建-構(gòu)建高性能數(shù)據(jù)庫專有云平臺報告.pdf 129 5積分
- 計算機行業(yè)：NV Rubin新架構(gòu)&Agent存儲最強方向，GPU Native數(shù)據(jù)庫【星環(huán)科技】.pdf 441 5積分
- 2025年中國汽車生命周期數(shù)據(jù)庫（CALCD 3.0）使用手冊（英文版）.pdf 312 6積分
- 計算機行業(yè)專題報告：GPU+ASIC滲透加速，液冷市場規(guī)模再添增量.pdf 297 6積分
- 2025年中國分布式數(shù)據(jù)庫發(fā)展研究白皮書-釋放數(shù)據(jù)價值助力企業(yè)加速發(fā)展.pdf 130 6積分
- 2025年金融科技新基建-構(gòu)建高性能數(shù)據(jù)庫專有云平臺報告.pdf 129 5積分
- 摩爾線程-688795-國產(chǎn)全功能GPU突圍：智算立基，消費拓疆.pdf 116 4積分
- 沐曦股份-688802-國產(chǎn)通用GPU穩(wěn)步推新，商業(yè)化落地加速疾行.pdf 108 3積分
- 騰訊云：2025年Serverless架構(gòu)數(shù)據(jù)庫技術(shù)白皮書.pdf 103 6積分
- OceanBase：2025年OceanBase實時分析能力白皮書.pdf 96 6積分
- OceanBase AI Data Infra 解決方案白皮書.pdf 88 12積分
- 摩爾線程-688795-國產(chǎn)全功能GPU突圍：智算立基，消費拓疆.pdf 116 4積分
- 沐曦股份-688802-國產(chǎn)通用GPU穩(wěn)步推新，商業(yè)化落地加速疾行.pdf 108 3積分
- IDC&移動云：AI原生數(shù)據(jù)庫發(fā)展趨勢白皮書.pdf 66 6積分
- 壁仞科技公司研究報告：全棧自研國產(chǎn)GPU廠商，集群能力國內(nèi)領(lǐng)先.pdf 62 5積分
- 海量數(shù)據(jù)-603138-信創(chuàng)筑基、AI拓界，國產(chǎn)數(shù)據(jù)庫核心廠商迎來成長拐點.pdf 55 3積分
- 星環(huán)科技-688031-認知數(shù)據(jù)庫云版本發(fā)布在即，有望搭上主流AI流量快車.pdf 51 3積分
- 長川科技-300604-上調(diào)目標價，以反映國產(chǎn)GPU需求更趨強勁以及存儲測試機機遇.pdf 48 3積分
- 摩爾線程-688795-MUSA架構(gòu)驅(qū)動，全功能GPU+全棧AI雙輪領(lǐng)跑.pdf 30 5積分
