Enterprises using multiple AI models are underestimating failure rates by 2.25x

본 기사는 21개 제공사의 67개 frontier model을 평가한 연구를 바탕으로, 여러 AI 모델을 조합해도 실패율이 기대만큼 낮아지지 않는다고 분석합니다. 핵심은 모델 간 불일치가 아니라 모든 모델이 같은 prompt에서 동시에 틀리는 co-failure ceiling이며, 이를 무시하면 routing, cascade, Mixture-of-Agents 구축 비용이 성능 개선으로 이어지지 않을 수 있습니다.

기업의 multi-model orchestration은 비용 절감과 정확도 향상을 동시에 노리지만, 실제 병목은 모델 다양성이 아니라 공통 취약 구간의 크기입니다. 이번 연구는 모델 선택 기준을 pairwise error correlation에서 공동 실패율 측정으로 옮겨야 하며, 복잡한 routing 인프라 도입 전 경제성을 검증하는 테스트가 필수라는 점을 시사합니다.