85% of companies burned by an AI mistake are racing to cut the humans who might catch the next one

VentureBeat Intelligence 조사에 따르면 AI agent나 LLM 기능이 사내 테스트를 통과한 뒤 고객에게 보이는 문제를 일으킨 기업이 49%에 달했습니다. 그럼에도 자동 평가를 신뢰한다는 응답은 한 달 새 5%에서 13%로 늘었고, 테스트와 실제 결과의 괴리를 최대 우려로 꼽은 비율은 29%에서 19%로 낮아졌습니다.

이번 결과는 기업의 AI 거버넌스가 성숙해지고 있다기보다, 평가 체계에 대한 신뢰가 실제 운영 리스크보다 앞서가고 있음을 시사합니다. 테스트를 통과한 agent가 production에서 실패하는 사례가 반복되면서, 단순 eval을 넘어 실시간 오류 감지와 완화 기능을 제공하는 agent 모니터링 시장의 중요성이 커지고 있습니다.