Zhipu AI GLM 5.2, Semgrep IDOR 취약점 탐지 벤치마크에서 Claude Code 앞서며 open-weight 모델 가능성 부각

Semgrep이 동일한 IDOR 탐지 데이터셋과 프롬프트로 주요 open-source 모델을 평가한 결과, Zhipu AI의 GLM 5.2가 39% F1을 기록해 Claude Code의 32%를 앞섰습니다. 다만 Semgrep의 목적 특화 multimodal pipeline은 53~61% F1로 더 높았으며, 이는 모델 자체보다 주변 실행 구조의 영향이 크다는 점을 보여줍니다.

이번 결과는 취약점 탐지에서 open-weight 모델이 더 이상 명확한 열세로만 보기 어렵다는 신호입니다. 동시에 실제 보안 업무 성능은 LLM 단독 능력보다 repository 탐색, context 선별, 출력 파싱을 담당하는 harness 설계에 크게 좌우된다는 점을 부각합니다.