DeepSeek's top-ranked V4 Flash stumbles on real agent tasks as its prices surge

DeepSeek V4 Flash는 출시 후 개발자들 사이에서 높은 평가를 받으며 모델 리더보드 상위권을 차지했지만, Composio의 실제 테스트에서는 복잡한 agent 작업 240회 중 129회만 통과했습니다. Claude Code, Codex, OpenCode 등 8개 harness에서 Gmail, GitHub, Slack, Google Sheets를 활용한 30개 다단계 워크플로를 수행한 결과, 모든 harness에서 성공한 작업은 6개에 그쳤습니다. DeepSeek는 V4 Flash와 V4 Pro의 가격 인상도 예고해, 저가 고성능 모델이라는 기존 매력에 변수가 생겼습니다.

이번 결과는 모델의 원시 성능보다 harness, 도구 설정, 캐싱, 재시도 전략, provider stack을 포함한 orchestration이 기업 환경의 성패를 좌우할 수 있음을 보여줍니다. DeepSeek의 가격 조정은 ‘저렴한 중국 모델’이라는 단순한 서사를 넘어, 기업이 각 모델을 어떤 워크플로와 비용 구조에 배치할지 재평가하게 만드는 계기가 될 수 있습니다.