Anthropic 연구자가 공개한 self-improving AI의 단서, 자동화 시스템이 10개 비정렬 행동 벤치마크에서 전체 성능 저하 없이 성능을 모두 개선

본 기사는 Anthropic 연구자가 제시한 self-improving AI 관련 사례를 다룹니다. 자동화 시스템은 특정 비정렬 행동을 측정하는 10개 벤치마크 모두에서 성능을 끌어올렸으며, 전체 성능 저하는 나타나지 않았습니다.

이번 결과는 AI 시스템이 제한된 목표 지표를 스스로 최적화하는 방향으로 진화할 수 있음을 시사합니다. 다만 벤치마크 개선이 실제 배포 환경의 안전성으로 곧바로 이어지는 것은 아니어서, AI safety 평가 체계와 감독 방식의 중요성이 더 커지고 있습니다.