鉅亨網編譯莊閔棻
科技業已經從聚焦於 GPU 一片難求的窘境,轉向 CPU 這項基礎運算資源。
根據《The Information》報導,亞馬遜 (AMZN-US) 雲端服務(AWS)內部今年 5 月已對工程團隊發出示警,要求全力節省運算資源,以確保未來能持續滿足客戶需求。
值得注意的是,這波節流令不僅鎖定 AI 晶片,更直指長年支撐網路服務運作的傳統 CPU 伺服器。
知情人士透露,AWS 已對各部門下達期限,要求在今年稍晚前削減運算資源的占用比例。為了騰出算力轉供外部客戶使用,工程師們正陸續關閉先前用於軟體開發、如今處於閒置狀態的 EC2 虛擬伺服器。
一名任職 AWS 多年的工程師表示,過去申請 CPU 伺服器資源通常數小時內就能到位,如今卻得苦候數天之久,這樣的延遲在他的職涯中前所未見,甚至可能拖累專案交付時程。
對此,AWS 官方回應強調,儘管當前面臨「龐大需求」,公司仍有能力滿足「絕大多數」內外部客戶的運算需求,並表示正與內部團隊密切合作,確保 EC2 資源維持一貫的高效運用,員工使用資源的相關指引也未因目前的緊張情勢而調整。
值得留意的是,外部客戶目前受到的衝擊仍屬有限。一名協助企業導入 AWS 服務的顧問指出,尚未觀察到客戶在合約承諾的算力上出現實際短缺。
不過,AWS 以折扣價提供、但可隨時在兩分鐘內被收回的「競價執行個體」(Spot Instances),近幾個月來已越來越難大量取得,被視為 AWS 整體供需缺口正在收窄、彈性空間持續壓縮的明確訊號,也可能預示雲端運算成本即將走高。
分析指出,這波 CPU 吃緊的根本原因,在於「AI 代理」應用的快速擴散。AI 顧問公司 Elendil Labs 共同創辦人暨董事總經理 Jing Xie 觀察到,客戶的人均 IT 支出已然翻倍,主因正是企業內大量導入 AI 代理程式協助軟體開發。
他指出,AI 代理程式在運作過程中往往需要調用比以往更多的雲端資源,進而對 CPU 形成持續性的龐大需求。
他表示:「不論是現在的開發、生產或營運,幾乎所有工作所需的 CPU 都比過去更多。」
事實上,CPU 的角色不僅限於 AI 應用的執行端,在 AI 開發流程中同樣不可或缺。例如 AI 公司為訓練模型準備資料時,仍須仰賴 CPU 從文件、影像與影片中讀取並處理原始資料。
晶片大廠的最新表態也印證了這股趨勢。英特爾 (INTC-US) 執行長陳立武(Lip-Bu Tan)今年 4 月的財報電話會議上曾透露,在 AI 推論(即模型實際運作)情境中,CPU 與 GPU 的使用比例約為 1 比 4。
然而,到了 7 月,該公司財務長 David Zinsner 便指出這項比例已迅速拉近至接近 1 比 1。
超微半導體 (AMD-US) 與 Arm(ARM-US) 的高層主管近期也做出類似表態,顯示 CPU 需求成長的速度已超出業界原先預期。
除了 CPU 本身供不應求,與之搭配使用的記憶體晶片供應緊張,以及資料中心實體空間的限制,也共同加劇了這場算力荒。
大型科技公司的算力分配難題
如何在內部研發與外部客戶之間分配有限算力,已成為近兩年科技巨頭共同面臨的棘手課題。
根據《The Information》先前報導,Google 去年已成立一個由高階主管組成的專責委員會,負責協調 Google Cloud、DeepMind 研究部門與消費端業務之間的運算資源分配。
即便如此,內部摩擦仍未消弭。Google 知名 AI 研究員 Noam Shazeer 今年稍早便因不滿算力取得受限而選擇離職。
相較之下,微軟則展現出算力管理效率提升所帶來的正面效益。該公司財務長 Amy Hood 上月在財報電話會議上表示,Azure 雲端服務部分營收成長,正是得益於 CPU 與 GPU 叢集管理效率的提升。
下一篇
