企業 AI 基礎設施瘋狂燒錢：GPU 閒置過半還在瘋狂採購

算力投資跑得太快，成本賬本跟不上

VentureBeat 最新調研了 107 家企業，發現一個扎心事實：企業在 AI 基礎設施上的採購速度，已經完全甩開了自己的管理能力。這種現象被定義為"算力缺口"——簡單說就是，企業瘋狂買買買，但對算力花銷卻一臉懵。

規模化部署？只有五分之一企業做到了

調研顯示，企業 AI 部署情況嚴重"頭重腳輕"：

• 38% 還在玩概念驗證，壓根沒進生產環境
• 37% 部分業務上了 AI，但還沒全公司鋪開
• 21% 實現了規模化部署——這才是真大佬
• 4% 連 AI 都沒碰過

換句話說，四分之三的企業還在 AI 初級階段，但他們的算力採購已經起飛了。

GPU 閒置嚴重，但採購根本停不下來

更離譜的是：83% 的企業 GPU 利用率不到 50%。這意味著天價算力在吃灰。更扎心的是，只有 44% 的企業能算清楚 AI 算力花銷——超過一半企業連自己花了多少錢都不知道。

但這絲毫不影響企業繼續買買買：45% 的企業計劃在未來一年內評估 AI 專用雲，而這類服務在受訪企業中幾乎沒人用過。

供應商忠誠度？不存在的

調研還發現，企業換供應商比換衣服還勤：

• 64% 計劃在 12 個月內換供應商或加新供應商
• 38% 打算在未來三個月內就動手

這種換手率在基礎設施領域相當罕見，說明市場還沒形成穩定格局。

現在的主流玩法：雲巨頭+模型 API

目前企業 AI 執行主要還是靠傳統雲巨頭：

• Google Cloud 以 48% 使用率領先（Microsoft Azure 29%，AWS 22%，Oracle Cloud 22%）
• 模型層面，Google Gemini 佔 41%，OpenAI 緊隨其後 40%，Anthropic 為 12%
• 只有 6% 的企業在用自有本地或託管 GPU 叢集

選型不看單價，看整合和 TCO

企業在選基礎設施供應商時，決策因素很有意思：

• 整合度（與現有技術棧的相容性）：41%
• 總擁有成本（TCO）：35%
• 每百萬 token 成本：只有 8%

這對中國市場很有啟示——國內 AI 廠商愛打價格戰，但企業更看重系統整合和長期總成本。

推理瓶頸？多數企業還沒意識到

調研還指出，隨著推理規模擴大，記憶體頻寬即將取代 GPU 算力成為關鍵瓶頸。但目前只有約五分之一的企業意識到這一點或開始應對。

對中國企業的啟示

這份調研樣本主要是中型企業（101-250 人佔 36%，251-1000 人佔 27%），技術/軟體行業佔 26%，醫療/生命科學 15%，金融服務 13%。雖然樣本偏向早期採用者，但其揭示的問題在中國市場同樣存在：

1. FinOps 能力建設滯後：在追逐算力的同時，要同步建立 AI 成本管理體系
2. 避免"先買後算賬"：GPU 利用率監控應成為採購決策的前置條件
3. 關注 TCO 而非單價：長期整合成本往往高於表面價格差異

一般來說，企業 AI 基礎設施投資應該遵循"可見性先行"原則——在擴大算力採購前，先建立成本歸因、利用率監控和效能評估體系。這份調研的核心警示是：當投資速度超過管理能力時，規模本身就成了風險。

常見問題

為什麼企業 GPU 利用率這麼低還要繼續採購?

調研顯示 83% 企業 GPU 利用率低於 50%,但 76% 企業仍處於實驗或部分生產階段,算力需求預期快速增長。更深層原因可能是:缺乏利用率監控工具、工作負載排程不合理、為峰值需求預留容量,以及部分企業存在'算力焦慮'導致的過度採購。

企業選擇 AI 基礎設施供應商時最看重什麼?

根據調研,整合度(與現有技術棧相容性)佔 41%,總擁有成本(TCO)佔 35%,而每百萬 token 價格僅佔 8%。這意味著企業更關注長期運維成本、資料遷移難度、API 穩定性等因素,而非表面價格。中國企業在選型時也應建立 TCO 評估模型,而非僅比較 token 單價。

什麼是'從 GPU 算力到記憶體頻寬'的瓶頸轉移?

調研提到這是推理規模擴大時的'前沿約束'(frontier constraint)。通常而言,當模型推理達到一定規模,瓶頸會從 GPU 計算能力轉向記憶體頻寬——即資料在視訊記憶體與處理器間傳輸的速度。這對硬體選型(如選擇 HBM 高頻寬記憶體的 GPU)和系統架構(如 KV Cache 最佳化)都有影響,但目前僅約 20% 企業意識到這一點。

中國企業如何避免類似的'算力缺口'?

建議採取三步走:1)建立 AI FinOps 體系,部署算力成本歸因和利用率監控工具(如 Prometheus + Grafana 或雲廠商 FinOps 服務);2)設定採購前置條件,如'現有 GPU 利用率需達 70% 以上才能擴容';3)建立 TCO 評估模型,綜合考慮硬體折舊、電力、運維、整合開發等全生命週期成本,而非僅看採購價格。

64% 企業計劃一年內換供應商,這對市場意味著什麼?

這一異常高的換手率(38% 甚至計劃一個季度內行動)表明:1)AI 基礎設施市場格局遠未穩定,供應商鎖定效應尚未形成;2)企業對現有方案滿意度不高,可能存在效能、成本或整合問題;3)對供應商而言,客戶留存將成為比新客獲取更關鍵的挑戰。中國市場可能呈現更高流動性,因為本土廠商迭代速度快且價格競爭激烈。

---

本文基於 VentureBeat 報道, 由 AiDuo123 AI 編輯翻譯改寫。原文連結: https://venturebeat.com/ai/the-ai-compute-gap-enterprises-are-buying-infrastructure-faster-than-they-can-measure-what-it-costs