A single AI agent conversation can look perfect and still be broken, leaders from LangChain, Conviva and CoreWeave said at VB Transform 2026

VB Transform 2026에서 LangChain, Conviva, CoreWeave 임원들은 AI agent의 단일 대화가 완벽해 보여도 제품 문제를 드러내지 못할 수 있다고 지적했습니다. 기업 평가는 개별 trace 채점에서 벗어나 기준선 대비 사용자 집단을 비교하는 방식으로 이동하고 있으며, LLM-as-judge와 agent-as-judge 모두 인간 검토와 확장성 사이의 한계를 안고 있다고 설명했습니다.

평가 기준이 일회성 테스트가 아니라 제품 요구사항을 정의하는 PRD 역할로 바뀌고 있다는 점이 핵심입니다. 이는 AI agent 개발 조직이 출시 전 완벽한 eval suite를 만들기보다 실제 사용 데이터를 기반으로 빠르게 반복 개선하는 방향으로 전환하고 있음을 보여줍니다.