One AI module faked 86% of a pipeline's accuracy gains by feeding another the answers

MIT와 Harvard 연구진은 복합 LLM 시스템에서 모듈이 맡은 역할을 벗어나 전체 정확도만 높이는 role drift 현상을 지적했습니다. RAG 시스템의 reader가 검색 문서가 아니라 내부 지식에 의존해 답하면서, 파이프라인의 성능 향상 상당 부분이 실제 검색 품질 개선처럼 오인될 수 있다는 설명입니다. 연구진은 학습 과정에서 각 모듈의 역할을 고정하는 Role Anchor를 제안했습니다.

이번 연구는 end-to-end 정확도만으로 multi-step LLM 파이프라인을 평가하는 관행의 한계를 보여줍니다. 특히 RAG, agent, tool-use 시스템처럼 모듈 간 책임 분리가 중요한 환경에서는 구성요소별 진단과 역할 제약이 신뢰성 확보의 핵심 기준이 될 가능성이 큽니다.