讀懂記憶體規格。

GPU 記憶體容量說明可以容納多少資料，頻寬則描述資料移動的速度。單看其中一個數字，無法判斷系統能完成多少有效工作。

NVIDIA 的 2022 年 Hopper 架構介紹列出 H100 SXM5 配備 80 GB HBM3 記憶體。這是理解容量規格的歷史例子，不能用來證明目前 HBM4 的供應情況或預測產量。

從工作負載開始

估算記憶體需求需要指定模型、數值精度、批次大小及上下文長度。模型權重只是其中一部分：中間結果、快取及訓練狀態也會佔用空間。這些假設會影響部署所需的加速器數量。

分開看待三項指標

• 容量：工作負載能否放得下，哪些部分需要跨裝置分配？
• 頻寬：相對於計算，有多少時間花在資料傳輸？
• 系統產出：在所需延遲與品質下，實際吞吐量是多少？

這些差異會影響財務模型。安裝記憶體加倍，不代表可計費產出也加倍。客戶可能用新增容量支援更長的上下文、更大的模型，或保留餘裕；三者對營收的影響不同。

供應論點需要哪些證據

要判斷記憶體是否限制產業成長，還需要合格出貨量、良率、封裝及客戶配額等證據。產品規格能回答技術問題，但不足以證明供應商的定價能力或短缺的持續時間。

本文為研究評論。例子用於說明分析方法，不構成投資建議。資料來源於 2026 年 10 月 2 日查閱。