「AI推論時代」來臨... Google新AI晶片 比超級電腦快24倍

　Google 9日發表新一代AI晶片Ironwood，號稱是Google第一款專為AI推論開發的晶片，運算能力最高可達現今全球最大超級電腦的24倍以上，正式宣告「AI推論時代」來臨。

　Google TPU（張量處理器）v7P是採用博通自研晶片，聯發科I/O模組。

　4月9日至11日Google在美國拉斯維加斯舉行一年一度雲端服務大會Google Cloud Next，並在活動首日盛大發表Ironwood晶片。Ironwood是Google推出的第七代TPU（張量處理器），號稱能滿足日漸複雜的AI運算需求。

　Google自2018年推出第一代Cloud TPU後，持續發展訓練大規模語言模型（LLM）的TPU晶片，但隨著AI市場焦點從訓練能力轉移到推論能力，第七代TPU晶片Ironwood已能包辦LLM、混和專家模型（MoE）及其他先進推論運算。

　Google副總裁瓦達特（Amin Vahdat）表示：「相較於AI訓練，如今AI推論的重要性大增。」

　業界人士普遍認為今年初DeepSeek爆紅之後，AI發展逐漸邁入下一個階段，也就是從LLM走向推理模型（Reasoning Model）。

　推理模型與LLM的差異在於，推理模型回答問題時會包含「思考」或「推理」過程，比LLM更適合處理複雜任務，例如數學解題或邏輯推理。相較之下，LLM較擅長處理文章摘要、翻譯或知識性簡單問答。

　Google至今推出的TPU晶片僅供自家AI模型及雲端平台用戶使用，而這回為了滿足用戶快速膨脹的AI運算需求，Google針對Ironwood推出兩種組合規格，分別是256顆晶片及9,216顆晶片堆疊而成的晶片組。

　以高階的9,216顆晶片規格來講，運算速度合計高達42.5 Exaflops，相當於現今全球最大超級電腦El Capitan的24倍以上，節能效率是上一代Trillium晶片的2倍。Ironwood每顆晶片內建高頻寬記憶體（HBM）容量也擴大至192GB，是上一代的6倍。