CWE-bench v2, 91개 취약점 유형 다룬 공개 보안 코딩 벤치마크 출시

Collinear AI가 실제 오픈소스 저장소에서 보안 취약점을 찾아 수정하는 과제 100개로 구성된 CWE-bench v2를 공개했습니다. 91개 CWE를 다루며, 재현 가능한 자동 채점과 과제별 검수를 제공하고, 평가 모델 11개 중 Gemini 4 Argon이 pass@1 67.8%로 가장 높은 점수를 기록했습니다.

공개 과제·채점기·실행 도구를 활용하면 개발팀이 보안 코드 수정 에이전트를 같은 조건에서 비교하고, 필요하면 학습 보상 환경으로도 사용할 수 있습니다. 다만 최고 모델도 과제의 19%를 매번 해결하지 못했으며, 공개 세트에 대한 성적만으로 미공개 취약점 대응 능력이나 실제 제품 환경의 효과까지 판단할 수는 없습니다.