存儲芯片航天專題分析：HBM何以成為AI芯片核心升級點？全面理解AI存儲路線圖.pdf

存儲芯片航天專題分析：HBM何以成為AI芯片核心升級點？全面理解AI存儲路線圖。AI 存儲路線圖：更大容量、更大帶寬、更低功耗。隨著人工智能的快速發(fā)展，大模型的參數(shù)量指數(shù)級增長，不 僅推升了處理器的算力需求，同時也對與處理器匹配的內(nèi)存系統(tǒng)提出了更高的要求。一方面，大量模型數(shù)據(jù)的 傳輸要求更大的內(nèi)存帶寬，以緩解“內(nèi)存墻”問題，提升 HPC 系統(tǒng)計算效率；另一方面，內(nèi)存系統(tǒng)的容量需要 大幅拓展，以存儲千億參數(shù)乃至更大規(guī)模的大模型。

如何理解內(nèi)存系統(tǒng)層級及關(guān)鍵參數(shù)？對于單個乃至多個處理器組成的系統(tǒng)而言，內(nèi)存系統(tǒng)自下而上可以分為單 元、陣列、die、封裝、系統(tǒng)幾個層級。根據(jù)處理器設(shè)計和應(yīng)用的不同，所配置的內(nèi)存類型、規(guī)格選擇和配置數(shù) 量也有所不同，需要和處理器總線寬度、時鐘頻率等參數(shù)相匹配。內(nèi)存最重要的性能參數(shù)是容量、帶寬和延遲， 同時還需要考慮能耗和性價比。不同類型的 DRAM 各有優(yōu)勢，在設(shè)計處理器系統(tǒng)架構(gòu)的時候需要針對不同的應(yīng) 用，選擇合適的內(nèi)存系統(tǒng)設(shè)計。

DDR+LPDDR 路線圖：面向 CPU，構(gòu)建高效大容量內(nèi)存系統(tǒng)。DDR 是最傳統(tǒng)、最主流的 DRAM 類型。廣泛用 于 PC、服務(wù)器、HPC 等領(lǐng)域。目前，DDR5 是最新一代 DDR 標(biāo)準(zhǔn)，提供更高的速度、更高的效率和更大的容 量。LPDDR 正在成為數(shù)據(jù)中心 CPU 的新選擇，其原因是需要在大規(guī)模 AI 和 HPC 工作負載的帶寬、能效、容 量和成本之間取得最佳平衡。隨著前端先進制造技術(shù)接近物理極限，DRAM 芯片本身的性能提升越來越難，從 內(nèi)存模組和系統(tǒng)架構(gòu)層面進行性能提升成為新的方向。MCRDIMM/MRDIMM 允許并行訪問同一個 DIMM 中的 兩個陣列，從而大幅提升 DIMM 模組的容量和帶寬。CXL 是一種高速互連技術(shù)，提供處理器與專用加速器、高 性能存儲系統(tǒng)之間的高效、高速、低延時接口，以滿足資源共享、內(nèi)存池化和高效運算調(diào)度的需求。

GDDR+HBM 路線圖：面向 GPU，HBM 高帶寬優(yōu)勢成為 AI 大模型訓(xùn)練推理關(guān)鍵。GDDR 是專為圖形處理應(yīng) 用設(shè)計的高速內(nèi)存技術(shù)，搭配 GPU 用于圖形處理、數(shù)據(jù)中心加速和 AI 等需要高帶寬數(shù)據(jù)處理的場景。HBM 是 一種新型內(nèi)存，得益于堆疊結(jié)構(gòu)和垂直 TSV 互連，HBM 具有更高的傳輸帶寬、更高的存儲密度、更低的功耗 以及更小的尺寸，高帶寬優(yōu)勢對大模型訓(xùn)練和推理的效率提升至關(guān)重要。近年來，大部分高端數(shù)據(jù)中心 GPU 和 ASIC 均使用 HBM 作為內(nèi)存方案，GDDR 在推理等場景中具備性價比優(yōu)勢。未來，HBM 技術(shù)持續(xù)向更高帶寬、 更大容量發(fā)展，12Hi-16Hi HBM4 有望 2026 年進入量產(chǎn)。