Hot Chips 2026 於 8 月 24 日至 25 日舉行，如果要在議程裡找一條主旋律，記憶體當之無愧：週日教學場整個上午都在談「如何餵飽 AI 對資料的飢渴」，HBM base die、先進封裝、3D DRAM 推理加速器輪番上陣；週二上午的 Memory session 則聚焦三星，講題直接寫明「全球首款以 LPDDR 為基礎的 PIM AI 推理解決方案」，主講者是三星的 Karam Hwang。8 月 29 日，Chips and Cheese 刊出 Chester Lam 對這顆 LPDDR5X-PIM 的深入拆解，值得整篇讀完。
LPDDR5X-PIM 怎麼運作
設計思路是把乘加（MAC）運算單元塞進 LPDDR5X 顆粒，同時不破壞與既有記憶體控制器的相容性：
- 顆粒內有 16 個 bank，每個 bank 各配一組 PIM 區塊，內含 MAC 樹與暫存器檔：1,024 位元指令暫存器（最多 64 條指令）、4kbit 來源暫存器（存放啟動向量）與 2kbit 縮放暫存器。
- 運算功能靠特殊的列位址啟用：對記憶體送出模式控制列即可切換狀態，用法接近記憶體映射 I/O（MMIO），可在單 bank 與多 bank 模式之間切換。
- 寫入會廣播到全部 16 個 bank，接近 SIMD 的使用方式；Address Align Mode 則利用欄位址推導來源暫存器索引，消化控制器亂序重排的影響。
換句話說，這不是在記憶體旁邊加一顆 NPU，而是讓 DRAM 本身在不更動外部介面的前提下多做一層算術。
帳面數字：八倍內部頻寬
每個 PIM 區塊在每個資料時脈可執行 4 次 INT8 或 FP8 乘加，改用 4 位元權重時再翻倍；整顆封裝合計 2.4 TOPS，8 顆疊出 9.6 INT8 TOPS——約當 Intel 筆電級 Meteor Lake NPU 的水準。真正的重點是頻寬：16 個 bank 的內部運算頻寬合計 614 GB/s，是外部存取 76.8 GB/s 的整整八倍。「把運算搬到資料旁邊」這句口號，在數字上確實兌現了——問題是代價也寫在下一節。
三個工程現實
拆解文章沒有停在規格表，而是把限制講清楚。第一，PIM 運算無法與一般記憶體存取並行，軟體必須把 PIM 區域隔離出來，交錯使用受限，還得靠鎖或作業系統層級的阻擋。第二，PIM 存取必須不可快取、不可投機執行，這直接與 CPU 的快取、預取與亂序執行機制相牴觸。第三，PIM 區塊之間無法直接交換資料。作者的判斷是：除非系統做更深的改動——專用運算指令、快取一致性的記憶體控制器，甚至類似 rep macb 的 CPU 指令——否則 PIM 的採用門檻降不下來。
對 AI 推理硬體的意義
LLM 推理是典型的頻寬受限工作負載，權重搬運的能耗與延遲常壓過算術運算本身，這正是記憶體廠商把運算往資料旁邊推的理由。這次發表有兩層訊號：其一，PIM 從 HBM 與伺服器場域走向 LPDDR，代表它瞄準的是手機、筆電等終端裝置上的離線推理；其二，與 Meteor Lake NPU 同級的 TOPS 數字說明其定位是輔助算力，而非取代主 NPU。對開發者而言，短期內仍是觀察期：隔離與不可快取這些軟體模型限制，決定了它不會是「透明的加速器」；在工具鏈與生態成熟之前，實際收益取決於個別應用能否配合這套使用方式重新設計。
參考來源
- Hot Chips 2026: Samsung’s Processing-in-Memory (PIM) — Chips and Cheese
- Hot Chips 2026 Program — Hot Chips
本文由 AI 協助自上述來源整理，經人工審核後發布。