Ai2, LLM 의사결정 공정성 평가 벤치마크 ‘FairStress’ 공개

Ai2가 LLM의 최종 선택뿐 아니라 설득성 문구에 얼마나 쉽게 결정을 바꾸는지 측정하는 FairStress를 공개했습니다. 이 벤치마크는 채용·대출·의료·교육·주거 등 29개 영역의 300개 시나리오를 1,300만 건 이상 테스트로 확장하며, 빠른 평가를 위한 5만 항목의 FairStress-Core도 제공합니다. 실험에서는 인구통계 정보가 명시될수록 일부 모델이 같은 근거에서도 집단에 따라 정답을 포기하는 비대칭성이 나타났습니다.

고위험 의사결정에 LLM을 도입하는 조직은 최종 답변 일치율만 볼 것이 아니라, 반대 주장이나 권위 호소에 대한 결정 안정성을 별도 평가해야 합니다. 다만 FairStress는 ‘동일한 근거에는 동일하게 견뎌야 한다’는 대칭적 공정성 정의에 초점을 맞추므로, 역사적 불이익을 고려하는 형평성 기준까지 대체하지는 못합니다.