image
20220703TrendForce分析師曾冠瑋

伺服器出貨帶動 加速卡需求看增

具加速運算處理、靈活彈性等特性,成重要配置

image
2018~2022年全球伺服器出貨量變化
配圖
各大伺服器加速卡廠商最新產品發布狀況

隨著5G、AI、HPC、IoT等技術蓬勃發展,加上2020年新冠肺炎疫情爆發,促使消費者生活形態產生轉變,逐漸採取線上學習/會議/購物/看房、雲端儲存/遊戲/服務等模式,雲端服務、電信服務供應商為滿足大幅增加的雲端儲存與運算需求,持續擴大資本支出,擴建資料中心,加上廠商本身也要進行數位轉型,需購置並擴增機房,皆帶動伺服器出貨量持續增加。

 根據TrendForce統計,2021年全球伺服器市場出貨量為1,360.7萬台,預期2022年將增加至1,430.9萬台,年成長達5.2%。

1.伺服器加裝加速卡 需求與日俱增

 資料中心(Data Center)包括伺服器(Server)、儲存系統、網路設備如交換機、路由器和防火牆,以及組織與連接設備所需的機架和布線,其中以伺服器居於要角,而伺服器雖又以CPU為系統運算核心,但CPU執行程式是依指令序列逐條執行指令,在執行複雜的控制功能時表現出色,然面對圖形、影像與訊號等多元資料處理時,效能仍有其瓶頸也不一定能完全負荷。

 再者,伺服器系統有持續擴充的需要,若定期升級其架構,能有助於改善相對效能、管理效率並提高整合度和可靠性,因此伺服器通常具備插卡式或插槽式設計,而以PCIe為介面的加速卡產品,由於具有加速運算處理、靈活彈性配置等特性,即成為伺服器重要配置,為整體系統提供更多附加價值。

 目前加速卡主要核心晶片有GPU、FPGA、ASIC的架構,主要供應商為英特爾(Intel)、輝達(NVIDIA)、超微(AMD)、賽靈思(Xilinx;已被AMD收購),另外小型Fabless廠商Achronix亦有產品。伺服器GPU加速卡領域以NVIDIA為首、AMD次之;在FPGA領域則以Xilinx為首,而Intel與Achronix近期則較無針對既有產品做進一步更新,另外以ASIC晶片架構為主的加速卡,則因開發成本高昂,逐漸被FPGA取代。

2.各大廠 加速運算裝置發展

 伺服器專用加速卡發展以來,已融合衍伸出各種加速運算裝置,例如智慧型網路卡(SmartNIC)、資料處理器(DPU)、儲存處理器(SPU)、運算型儲存裝置(CSD)、基礎架構處理器(IPU)等,類型繁多且應用取向不同,主要乃因各廠商整合各種功能或側重差異而有不同命名。

 (一)NVIDIA

 NVIDIA以GPU為加速卡基調,其Tensor Core是NVIDIA獨有技術,可實現混合精度運算,並可動態調整計算,在加速傳輸量同時維持精準度,從Volta、Turing、Ampere到2022年Hopper,Tensor Core已發展到第四代。

 第一代Tensor Core首先出現在2017年Volta架構,當時推出Tesla V100,目的在同時實現HPC、AI模型訓練與推論的加速和虛擬化功能,有NVLink和PCIe兩個版本,主要為匯流排技術不同,取決於使用者需求。

 在Volta Architecture後為加強影像辨識,NVIDIA於2018年開發出Turing架構,釋出Tesla T4,同時搭載可加速光線追蹤的全新RT Core和第二代Tensor Core,主要針對視覺相關領域,聚焦於AI推論應用,再度站穩伺服器加速卡市場;再來就是2020年Ampere架構,推出A100 PCIe與SXM4兩個版本,其第三代Tensor Core每核心運算效率可達Turing架構第二代Tensor Core的2倍,大幅強化HPC、AI訓練,嚴防當時對手步步進逼,同時也擴大客戶族群。

 2022年3月NVIDIA於GTC技術大會推出最新Hopper架構,以及首款基於第四代Tensor Core的H100,有PCIe Gen5與SXM5等版本,最令人驚豔的是分別配置HBM2e與HBM3記憶體,打開伺服器加速卡產品線另一新頁。

 晶片使用台積電4nm也是先進製程的時勢所趨,與A100相比,H100的AI訓練速度提升6倍、AI推論速度提升30倍,且HPC表現也相當優異,這都要歸功於新增的Transformer Engine設計,擴大AI運算效能與能力,持續為NVIDIA守住在伺服器加速卡領導地位,目前包括AWS、Microsoft Azure、Google Cloud、Baidu AI Cloud、Oracle Cloud等雲端服務供應商已計畫採用,而以其積極程度來看,勢必也增加對台積電4nm的投片量。

 從營收面來看,受益於GPU加速卡在資料中心的應用,NVIDIA於2022年第一季資料中心領域營收達35.9億美元,是2021年同期20億美元的1.8倍,營收占比達到45.4%,最重要的是2022年第一季資料中心領域營收超過先前一直最強勁的遊戲領域業務,顯見其營運爆發力十足;另一方面也代表GPU加速卡領導者NVIDIA對資料中心市場的重要性。

 (二)AMD

 在GPU加速運算領域,雖目前NVIDIA仍有絕對領導地位,但AMD也在其後苦苦緊追。AMD收購Xilinx已在2022年2月正式完成,AMD本身亦有伺服器加速卡的產品線布局-Instinct MI系列加速器,且在AMD開拓下,Instinct MI200系列已獲得多款高效能系統採用。

 AMD營收可分為兩部分:(1)運算與繪圖事業群(CG),主要銷售個人電腦的CPU和GPU,以及本次重點的資料中心GPU;(2)企業端、嵌入式與半客製化事業部(EESC),以企業端客戶為主,包含伺服器CPU,以及出售給遊戲機廠商的半客製化運算晶片。以CG事業群來看,業績仍穩步提升,2022年第一季營收年增33.4%,但相較總體營收來看,並呈現爆發式成長,其伺服器GPU加速卡應仍有挑戰10%以上市占空間。而成功收購Xilinx之後,AMD便能與Intel和NVIDIA抗衡,尤其是在資料中心領域,可大幅強化宥速卡與AI Inference等領域的競爭實力。

 (三)Xilinx

 綜觀整個FPGA加速運算領域,目前擁有最多款伺服器、資料中心等級產品廠商為Xilinx。Xilinx在加速卡發展上,由於憑藉FPGA可編程特性帶來的高靈活度,涵蓋應用範圍相當廣泛,也有一定採用度,這也是AMD收購Xilinx主要原因之一。

 目前Xilinx最新款產品為2021年11月推出的Alveo U55C,支援至PCIe Gen4。Xilinx在Alveo加速卡發展上,過去就曾獲得華為、雪湖科技、深維科技、SK Telecom等廠商青睞,如今Xilinx再進一步推出伺服器專用產品,顯然是想針對特定應用的伺服器市場擴大其影響力,然Xilinx也深知FPGA與GPU的差異,因此Alveo U55C再度突顯低功耗、相對開放特性,例如聯邦科學與工業研究組織等科研廠商也在Xilinx合作布局內,與GPU加速卡走出不一樣道路。

 從營收面來看,2021年第四季營收年增25.8%,然資料中心領域營收年增率為90.4%,代表Xilinx非常重視資料中心領域發展,且新產品Alveo U55C與先前所有Alveo系列產品的拓展皆有成長,也確實反應在營收上。

 (四)其他加速卡大廠動態

 Intel與Achronix同樣是FPGA陣營廠商,不過截至2022年5月在純針對伺服器加速運算產品布局上未有明顯動作,而是各自有不同發展策略如下。Intel伺服器可編程加速卡PAC(Programmable Acceleration Card)自2019年FPGA PAC D5005後,於此系列已無更新,甚至該產品已發布停產通知,將研發重心轉往其他產品架構上。

 然Intel在其他FPGA應用仍有新作,例如Intel IPU C5000X-PL平台、Silicom FPGA SmartNIC N5010、Intel FPGA SmartNIC N6000-PL等,然細部來看,IPU C5000X-PL平台為支援雲端基礎架構工作負載,SmartNIC N5010與SmartNIC N6000-PL平台則用於網路服務環境,不全然專注於伺服器的加速運算使用,而是整合為特定解決方案,能與Intel原本就非常強勢的CPU相互搭配,輔以完成全方位功能,彰顯Intel發展策略的改變。

 值得注意的是,Intel在2022年6月2日公布新伺服器加速用GPU「Rialto Bridge」Falcon Shores架構產品將於2024年問世,可將x86 CPU和Xe GPU架構整合至單一插槽中,屆時將對以NVIDIA、AMD為主的GPU加速卡市場帶來挑戰。

此外,Fabless廠商Achronix僅有在2019年推出的VectorPath S7t-VG6加速卡,並在2021年4月將其中Speedster 7t AC7t1500 FPGA拆出販售,以供第三方廠商推出自己的FPGA加速卡產品,而Achronix對加速卡並未有重大更新,步調相對放緩。

3.先進製程推進 NVIDIA率先採用4nm

 綜上所述,TrendForce表示,目前最新伺服器加速卡分別是NVIDIA H100、AMD Instinct MI210、AMD旗下Xilinx的Alveo U55C,都能以PCIe介面的I/O介面卡形式,部署到伺服器上,分別採用PCIe Gen5、Gen4、Gen4。而記憶體也分別配置「高頻寬記憶體」HBM2e、HBM2e、HBM2,靠進核心運算區域故數據傳輸路徑更短,從而減少延遲,而未來PCIe Gen5、HBM2e以上規格,將是伺服器加速卡重點發展方向。

 與此同時,伺服器加速卡規格變化,除與記憶體規格、傳輸介面密切有關外,內建晶片的製程技術也相當重要,目前僅Intel的FPGA使用自家製程生產,其餘大部分皆由台積電代工,其中Xilinx的FPGA與前代產品相同,仍採用16nm;AMD的Instinct MI200系列則採用6nm製程打造,與MI100的7nm相比有所提升;NVIDIA H100則採用最先進4nm製程,較A100採用的7nm製程躍升不只一個檔次,為業界之最。

 TrendForce表示,FPGA加速卡會採用行之有年的製程技術,大致落在16~7nm;而GPU陣營較積極,已將晶片推往6nm乃至4nm發展,邁向先進製程的趨勢應將持續,也是業界伺服器/資料中心的首選。

(本文作者為TrendForce分析師曾冠瑋)