半導體行業專題報告：端側大模型近存計算，定制化存儲研究框架.pdf

半導體行業專題報告：端側大模型近存計算，定制化存儲研究框架。大模型賦能端側AI。在人工智能的飛速發展中，大型語言模型（LLMs）以其在自然語言處理（NLP）領域的革命性突破， 引領著技術進步的新浪潮。自2017年Transformer架構的誕生以來，OpenAI的GPT系列到Meta的LLaMA系列等一系列模 型崛起。這些模型傳統上主要部署在云端服務器上，這種做法雖然保證了強大的計算力支持，卻也帶來了一系列挑戰：網絡 延遲、數據安全、持續的聯網要求等。這些問題在一定程度上限制了LLMs的廣泛應用和用戶的即時體驗。正因如此，將 LLMs部署在端側設備上的探索應運而生，不僅能夠提供更快的響應速度，還能在保護用戶隱私的同時，實現個性化的用戶 體驗。端側AI市場的全球規模正以驚人的速度增長，預計從2022年的152億美元增長到2032年的1436億美元，這一近十倍 的增長不僅反映了市場對邊緣AI解決方案的迫切需求，也預示著在制造、汽車、消費品等多個行業中，端側AI技術將發揮越 來越重要的作用。

存算一體技術的成熟為端側AI大模型的商業化落地提供了技術基礎。作為一種新的計算架構，存算一體的核心是將存儲與計 算完全融合，存儲器中疊加計算能力，以新的高效運算架構進行二維和三維矩陣計算，結合后摩爾時代先進封裝、新型存儲 器件等技術，能有效克服馮·諾依曼架構瓶頸，實現計算能效的數量級提升。存算一體可分為近存計算(PNM)、存內處理 (PIM)以及存內計算(CIM)。1）近存計算通過將計算單元靠近內存單元，減少數據傳輸路徑，提升訪存帶寬和效率，適合需 要大規模并行處理和優化內存帶寬的應用；2）存內處理將計算單元嵌入存儲芯片中，使存儲器本身具備一定的計算能力， 適合數據密集型任務，能夠顯著提升數據處理效率和能效比；3）存內計算將存儲單元和計算單元深度融合，使存儲單元直 接參與數據處理，適合高并行性計算和定制化硬件優化，能夠消除數據訪存延遲；在端側AI大模型的商業化落地中，選擇哪 種技術取決于具體的應用需求和性能優化目標。

NPU賦能端側大模型。智能手機SoC自多年前就開始利用NPU(神經網絡處理器)改善日常用戶體驗，賦能出色影像和音頻， 以及增強的連接和安全。不同之處在于，生成式AI用例需求在有著多樣化要求和計算需求的垂直領域不斷增加，這些AI用例 面臨兩大共同的關鍵挑戰：1）在功耗和散熱受限的終端上使用通用CPU和GPU服務平臺的不同需求，難以滿足這些AI用例 嚴苛且多樣化的計算需求；2）這些AI用例在不斷演進，在功能完全固定的硬件上部署這些用例不切實際。因此，支持處理 多樣性的異構計算架構能夠發揮每個處理器的優勢，例如以AI為中心定制設計的NPU，以及CPU和GPU。CPU擅長順序控制 和即時性，GPU適合并行數據流處理，NPU擅長標量、向量和張量數學運算，可用于核心AI工作負載。NPU降低部分易編 程性以實現更高的峰值性能、能效和面積效率，從而運行機器學習所需的大量乘法、加法和其他運算。通過使用合適的處理 器，異構計算能夠實現最佳應用性能、能效和電池續航，賦能全新增強的生成式 AI體驗。

異構計算架構的實現需要先進封裝技術的支持。異構計算架構通過將不同功能的芯片（如CPU、GPU、FPGA、DSP等）或 不同制程工藝的芯片集成在一起，實現高性能、高能效和多功能的計算系統，這種架構的實現需要先進的封裝技術來支持。 先進封裝技術旨在通過創新的封裝架構和工藝，提升芯片性能、降低功耗、減小尺寸，并優化成本。后文參考SiP與先進封 裝技術，將先進封裝分為兩大類梳理：①基于XY平面延伸的先進封裝技術，主要通過RDL進行信號的延伸和互連；②基于Z 軸延伸的先進封裝技術，主要是通過TSV進行信號延伸和互連。