瞄準生成式AI AWS運算資源、效能升級

　AWS（Amazon Web Services）為了因應日益普及的生成式AI需求，不斷提升運算資源和效能，讓使用者降低成本和門檻，到前為止，平均訓練成本可節省一半，推論成本可降7成。

　AWS預計16日在台北舉辦AI／ML人工智慧及機器學習解決方案日。屆時將對外宣布新的AI／ML關鍵技術，如生成式AI、大語言模型（LLM）、Low Code／No Code等創新趨勢。

　AWS台灣暨香港產品部總監翁宇強表示，從AI技術發展來看，生成式AI開啟了一次典範轉移（Paradigm Shift）。其大模型、多模態、高產能和海量資料將主導新一輪科技典範的發展，為內容、行銷、遊戲等行業帶來顛覆性創新。

　AWS看好生成式AI在遊戲、電商、媒體、影視、廣告、傳媒等產業的應用。

　不過，導入AI最大的挑戰在於運算成本。不但訓練資料、運算資料、輸出資料等，運算成本相當高昂，其中最重要的是取決於晶片效能，以及高品質訓練。

　AWS專門為雲端高效能模型訓練搭建Amazon EC2 Trn1執行個體（伺服器資源），最多可以搭載16顆專門用於機器學習訓練的Trainium晶片，512GB加速器記憶體和800GBps的網路頻寬。與類似執行個體相比，Trn1訓練成本大幅降低了50％。

　另外，AWS EC2所採用的Inf1執行個體技術，其輸送量提高達2.3倍，每次推論成本降低高達70％。Inf2新品已於2022年底上市。

　AWS表示，新一代Inf2執行個體的推出，與前一代產品相比除了輸送量高達4倍，降低延遲更達10倍，適合支援GPT類型的大型複雜模型，並且可以用單執行個體實現1,750億參數模型的推論。

　AWS日前也宣布與AI技術公司Hugging Face進一步合作，以加速對大語言模型和視覺模型的訓練，希望使用者可以用較低的成本，將生成式AI應用投入到生產環境中。