연구 아이디어의 참신성 판별, LLM은 프롬프트에 따라 정확도가 50%p 이상 달라져

Ai2는 연구 아이디어의 참신성을 평가하는 LLM 심사 모델 6종을 시험한 벤치마크와 데이터·코드를 공개했습니다. GPT-5.4는 같은 아이디어 쌍을 두고 프롬프트를 바꾸자 정확도가 93.5%에서 40.9%로 떨어졌으며, 검색 자료 제공이나 추론을 늘려도 판단이 일관되게 개선되지는 않았습니다.

연구팀이 아이디어 생성 시스템을 평가할 때 단일 프롬프트의 높은 정확도만으로 참신성 판별을 신뢰해서는 안 된다는 점을 보여줍니다. 평가 조건을 바꿔 결과가 얼마나 흔들리는지 함께 확인하고, 사람의 검토를 병행하는 편이 안전합니다. 다만 벤치마크의 AI 생성 아이디어는 간단한 생성 모델로 만든 약한 라벨이며, 결과가 더 복잡한 생성·평가 환경에도 그대로 적용되는지는 확인이 필요합니다.