image
20240607文/謝易晏

COMPUTEX展 耐能智慧邊緣AI伺服器亮相

image
 ●耐能智慧創辦人兼執行長劉峻誠(左)及前科技部長陳良基(右)於COMPUTEX2024。圖/耐能智慧提供

 總部位於美國聖地牙哥的人工智慧公司耐能智慧於COMPUTEX2024上宣佈推出最新的邊緣AI伺服器及一款內置耐能AI晶片的PC設備。KNEO330是耐能最新且第二款端側GPT伺服器。首款產品KNEO 300於2023年推出,已在製造業、金融服務和大學教育領域擁有企業客戶,包括史丹佛大學和加州大學洛杉磯分校。KNEO 330擁有48TOPS的AI計算能力,最多可支持八個併發連接,支持LLM和Stable Diffusion。在較低的硬體條件下,其RAG精度與雲端解決方案相當,大幅降低了小型企業的整體AI成本,降幅可達30%~40%。

 與大多數雲解決方案相比,KNEO 330實現了更簡單的集成和分層許可權管理,極大地提高了隱私和安全性。其全面的功能包括多模態GPT的離線版本。耐能智慧創辦人兼執行長劉峻誠表示:「AI近期蓬勃發展,強大的AI模型發展速度超出了許多專家的預期。平衡AI的道德倫理與盈利驅動是AI真正的挑戰。諸如訓練AI模型所需的電力和數據以及AI幻覺的潛在問題等擔憂都是現實問題。我們相信我們的產品是解決當前GPT ESG和能耗問題的關鍵。」

 除了KNEO 330耐能還推出搭載第三代NPU晶片KL830的PC設備。AI PC的時代已經來臨,根據IDC報告,銷量預計將從2024年5000萬臺增長到2027年的超過1.67億臺,占整體個人電腦市場的60%以上。同時Gartner機構預測2024年全球AI個人電腦和AI智慧手機的出貨量將達到2.95億臺,比2023年的2900萬臺增長十倍多。KL830使得低成本AI PC成為可能,將為更廣泛的消費者群體帶來AI的普及和應用。KL830提供高達 10eTOPS@8bit 的綜合計算能力(CCP),峰值功耗僅為2W,將使個性化GPT成為現實。