StateBench, 장문서에서 언어 모델의 상태 추적 능력 평가

Ai2가 공개한 StateBench는 변숫값이나 인물·사물의 상태가 긴 문서 안에서 바뀔 때 언어 모델이 이를 얼마나 정확히 추적하는지 평가하는 벤치마크입니다. 연구진은 문제를 4개 난이도로 나눴으며, 사전학습 모델과 Gemini 3.8 Flash·Claude Opus 5.5·GPT-6 계열 모델은 긴 입력의 복합 상태 추적에서 성능이 크게 떨어져 가장 어려운 유형에서는 정확도가 13% 이하로 내려갔습니다. 과제에 직접 학습시킨 실험에서는 Gated DeltaNet 및 하이브리드 모델이 최대 64,000회 업데이트까지 일부 유형에서 높은 일반화 성능을 보였습니다.

긴 문서에서 단순히 최신 값을 찾는 기능과 여러 업데이트를 연쇄적으로 반영하는 기능은 별도로 평가해야 한다는 점이 StateBench의 실무적 시사점입니다. 장기 기록이나 코드 분석에 모델을 도입할 때는 입력 길이뿐 아니라 상태 변경의 복잡도와 문서 형식까지 포함해 검증하고, 중요 결과는 별도 상태 저장 로직으로 보완할 필요가 있습니다. 다만 직접 학습 실험은 2억7,500만 개 매개변수 모델을 대상으로 했으며, 공개된 결과만으로 실제 업무 문서에서의 성능이나 대형 모델의 개선 여부를 판단하기는 어렵습니다.