《科技》AI伺服器記憶體成本破75％ Google祭出2大策略突破

【時報-台北電】SEMICON Taiwan 2026記憶體高峰論壇1日登場，Alphabet旗下Google Cloud供應鏈基礎架構資深總監Nikhil Cherian指出，隨著多模態與混合專家（MoE）架構普及，AI運算已從「算力受限」轉向「記憶體受限」，目前高效能記憶體已占AI伺服器硬體物料清單（BOM）成本75％以上。面對容量、頻寬與功耗瓶頸，Google正透過推論與訓練硬體分流、無損量化軟體演算法等「軟硬體雙軌策略」，全面突破AI記憶體之牆。 Nikhil Cherian表示，隨著大型語言模型與AI代理工作流快速發展，記憶體階層正面臨容量上限、頻寬受限、延遲飆升與能耗平衡等物理瓶頸。為了解決記憶體瓶頸，Google在硬體架構上採取分流策略，分別推出針對低延遲推論的TPU 8i，以及專攻超大規模訓練的TPU 8t。 在硬體規格方面，推論專用的TPU 8i配備288 GB高頻寬記憶體（HBM），並將晶片上SRAM容量擴增3倍至384 MiB，能將動態對話狀態與鍵值快取（KV Cache）直接置於晶片內部，實現零晶片外延遲；用於訓練的TPU 8t則透過9600顆晶片組成的超大型運算叢集，將HBM共享池化達到2 PB規模，消除晶片外數據傳輸瓶頸，並搭配TPU Direct Storage技術，確保加速器維持高效率運算。 在軟體創新與永續布局上，Google開發出免訓練的TurboQuant無損量化演算法，將大模型的KV快取從32位元壓縮至3位元，在精確度零損失的前提下縮小6倍記憶體占用，並帶來8倍注意力運算加速；同時導入舊世代DRAM整合技術以延長零組件生命週期。(新聞來源：中時即時 柳名耕)