Enterprise AI is entering an evaluation gap: Agents are gaining autonomy faster than companies can verify them

VB Pulse의 2026년 6월 설문에 따르면 기업 응답자의 절반은 내부 평가를 통과한 AI agent 또는 LLM 기능이 고객 대면 장애를 일으킨 경험이 있다고 답했습니다. 동시에 66%는 인간 검토 없는 production 배포를 이미 허용했거나 12개월 내 이를 목표로 하고 있지만, 자동 평가를 완전히 신뢰한다는 응답은 5%에 그쳤습니다. 이는 agent의 자율성이 검증 체계보다 빠르게 확대되는 evaluation gap을 보여줍니다.

agent는 도구 호출, 데이터 검색, 상태 변경 등 실행 경로가 매번 달라질 수 있어 기존 소프트웨어 테스트 방식만으로는 안정성을 보장하기 어렵습니다. 기업들은 자동화를 늦추기보다 identity, 평가, 비용, context, orchestration 같은 통제 계층을 사후 보강하는 방향으로 예산을 이동할 가능성이 큽니다. 향후 1년은 agentic deployment를 거버넌스 가능한 시스템으로 전환하는 재정비 국면이 될 전망입니다.