「買愈多、省愈多」的話語權輪到AMD發聲!根據近期業者公布AI伺服器測試結果顯示,MI300X在相同條件下,達到輝達H200 5倍之Tokens(參數)吞吐量。得益於AMD在ROCm生態系導入的新AI Tensor Engine(張量引擎),加速GPU訓練及推理;另外,在硬體層面大量堆疊HBM也發揮關鍵作用。未來在成本更加錙銖必較的情況下,AMD AI伺服器更顯優勢。
平價語言模型的崛起,正在重塑GPU市場生態,阿里巴巴首開全球資料中心算力過剩第一槍,業界分析,未來成本更加被檢視情況下,AMD AI伺服器價值將重獲市場重視。過往輝達自豪的CUDA生態護城河,AMD強化ROCm補齊短版,最新推出的AI Tensor Engine,搭配更佳的硬體規格,與主流業者一決雌雄。
法人分析,台廠於AI伺服器供應鏈扮演重要角色,硬體組裝具競爭優勢,因此包括鴻海、廣達,散熱業者奇鋐、雙鴻等也能吃到AMD伺服器訂單。晶片也委託台積電生產,但相較輝達,AMD更敢於嘗試新技術,MI300領先市場採用採用SoIC搭配CoWoS,今年將推出的MI350X以台積電3奈米製程打造,並用上HBM3E,更大的吞吐量、使推理性能將前一代提高35倍。
AMD之MI300X在DeepSeek-R1推理性能表現突出,結果顯示,MI300X運行FP8最高參數版本之DeepSeek-R1時,在相同延遲下吞吐量最高可達輝達H200之5倍,科技業者指出,H200單一節點可處理16個請求、MI300X則可處理128個。
AMD原先預估今年上半年AI業務收入將持平,不過,受大陸特規版MI308強勁需求推動,法人透露,CSP的資本支出成長及阿里巴巴和騰訊的採用,將推動AMD今年AI業務收入成長至87億美元,相較去年50億美元、大幅成長7成。在消費性產品部分,Radeon 9070系列發布帶動,AMD遊戲GPU預計表現強勁,該系列GPU在光追性能方面大幅提升,並引入全新的AI加速性能,第二季表現可期。