image
20240813李娟萍/台北報導

AI server客戶加單 今年AI SSD採購容量估破45EB

 根據TrendForce最新研究,由於AI需求大幅升溫,最近兩季AI server客戶向供應商進一步要求加單enterprise SSD,2024年AI SSD採購容量,估將突破45EB。

 16TB以上產品需求,自第二季大幅上升,隨著NVIDIA H100、H20和H200等系列產品到貨,客戶進一步加大TLC 4、8TB enterprise SSD訂單動能。

 TrendForce預估,今年AI相關SSD採購容量將超過45EB,未來幾年,AI server可望推動SSD需求年增率平均超過60%,而AI SSD需求在全部NAND Flash的占比,有機會自2024年的5%,上升至2025年的9%。

 在供給市場面,由於inference server採用大容量SSD產品的趨勢不變,供應商已加速升級製程,規劃從2025年第一季起開始量產2YY/3XX層,進而量產120TB enterprise SSD產品。

 TrendForce表示,AI server客戶對供應商加單,也導致enterprise SSD合約價於2023年第四季至2024年第三季間的累積漲幅超過80%。

 在AI模型訓練過程中,SSD主要負責儲存模型參數,包含不斷演變的權重和偏差,另一項重要應用是創建檢查點(check point),以定期保存AI模型訓練進度,即使訓練中斷,也能從特定點恢復。

 由於上述功能依賴高速傳輸及寫入耐用度,因此客戶主要選擇使用4TB/8TB TLC SSD產品,以滿足嚴苛的訓練過程需求。

 TrendForce指出,SSD應用於AI inference server,可在推理過程中協助調整、優化AI模型,SSD可即時更新數據,以便微調推論模型成果。

 因為有更多生成資訊,以影片或相片顯示,其資料的存儲量也跟著增加,因此,TLC/QLC 16TB以上等大容量SSD,成為AI inference主要採用的產品。