The AI compute gap: Enterprises are buying infrastructure faster than they can measure what it costs

VentureBeat Pulse Research가 107개 기업을 조사한 결과, AI 인프라 투자는 빠르게 늘지만 이를 통제할 비용 가시성은 뒤처진 것으로 나타났습니다. 대규모 운영 단계에 도달한 기업은 21%에 그쳤지만, 45%는 향후 1년 내 AI-specialized clouds를 평가할 계획이며 64%는 공급자 전환 또는 추가를 검토합니다. GPU 활용률이 50% 이하라는 응답이 83%였고, AI compute 비용을 엄격히 추적하는 기업은 44%에 불과했습니다.

이번 조사 결과는 기업의 AI 도입이 모델 선택 경쟁을 넘어 compute economics 관리 문제로 이동하고 있음을 보여줍니다. 단순 token 가격보다 통합성과 TCO가 구매 기준으로 부상하면서, 공급자는 비용 관측성·GPU 활용 최적화·멀티벤더 운영 지원을 핵심 차별화 요소로 제시해야 합니다.