XYBench, AI가 질문의 오해를 짚고 실제 문제를 해결하는지 평가

Ai2와 Carnegie Mellon, NVIDIA, Johns Hopkins 연구진이 실제 질문과 생성 질문 8,115개로 구성한 평가 기준 XYBench를 공개했습니다. 평가한 5개 모델은 사용자가 명시한 요청보다 근본 목표에 맞는 해결책을 덜 제시하고, 오해를 발견하더라도 답변의 중심을 목표에 두는 데 어려움을 보였습니다. 연구진은 논문으로 발표된 XYBench가 EMNLP 2026 최우수 리소스 논문상을 받았다고 밝혔습니다.

제품 개발자는 정답 포함 여부만으로 상담형 모델의 품질을 판단하지 말고, 답변이 사용자의 실제 목표를 우선하는지 별도로 평가할 필요가 있습니다. 목표를 명시해 준 실험에서도 Claude Sonnet 4.6의 목표 해결책 제시율은 59%에서 67%로 올랐지만 오해 식별률은 47%에서 34%로 낮아져, 의도 정보를 제공하는 것만으로 성능을 높이기 어렵다는 점이 드러났습니다. 다만 XYBench는 영어 질문을 중심으로 한 단일 응답 평가이므로, 다국어·다회 대화 환경에서도 같은 결과가 나타나는지는 확인되지 않았습니다.