美光256GB SOCAMM2模組 亮相

AI伺服器記憶體架構正加速升級。美光（Micron）宣布推出全球首款256GB LPDRAM SOCAMM2模組，並已經正式進入客戶送樣階段。業界指出，該產品主打AI資料中心與高效能運算（HPC）應用，未來有機會導入輝達（NVIDIA）下一世代Vera Rubin AI平台，搶攻新一波AI伺服器低功耗記憶體商機。

　此一產品採用業界首款32Gb LPDDR5X單晶粒設計，不僅將單模組容量提升至新高，亦同步兼顧功耗、體積與效能，為新一代資料中心基礎架構提供更具彈性的記憶體解決方案。

　美光指出，新推出的256GB SOCAMM2相較前一代最高192GB版本，容量提升約三分之一，代表每顆8通道伺服器CPU最高可配置達2TB LPDRAM，有助於支援更大上下文視窗、更複雜的AI推論模型及日益擴張的KV Cache需求。

隨著AI訓練、推論、代理式AI及通用運算加速融合，資料中心對記憶體容量、頻寬效率、延遲與能耗的要求同步升高，記憶體已成為影響系統效能與總持有成本的核心關鍵。

　在效能與節能方面，美光強調，SOCAMM2功耗僅為同級標準RDIMM的三分之一，規格尺寸縮小至三分之一，可有效提升伺服器機架密度，並降低電力與散熱負擔。

　針對長上下文大型語言模型（LLM）推論應用，若用於KV Cache卸載，首個token生成時間可較現有方案提升2.3倍；在獨立CPU應用中，其每瓦效能亦較主流記憶體模組高出3倍，顯示LPDRAM正逐步成為資料中心提升能源效率的重要選項。