Qwen 3.8-Max and Claude Opus 5 show why raw benchmark scores don't predict the bill

Alibaba는 Qwen 3.8-Max를 Claude Opus 5에 근접한 모델로 홍보했지만, 독립 평가인 VulcanBench에서는 Preview 버전이 중하위권 또는 최하위권에 머물렀습니다. 본 기사는 이 차이가 모델 성능 자체보다 Alibaba가 최대 512시간의 실행 시간을 허용한 반면 VulcanBench는 4560분으로 제한한 시간 예산 차이에서 비롯됐다고 설명합니다. reasoning model에서는 price per token만으로 실제 비용을 예측하기 어렵기 때문에, 실패한 시도까지 포함한 성공 과제당 비용을 핵심 지표로 봐야 한다고 지적합니다.

LLM 평가의 초점은 단순한 벤치마크 점수와 token 단가에서 실제 업무 통과율, 제한 시간, token cap을 함께 반영하는 운영 지표로 이동하고 있습니다. 특히 reasoning model은 내부 추론에 많은 token을 소모해 응답 전에 한도에 도달할 수 있어, 낮은 단가가 곧 낮은 총비용을 의미하지 않습니다. 기업의 모델 선정 과정에서도 성능표의 순위보다 자체 acceptance check와 예산 조건을 명시한 재현 가능한 평가 체계가 중요해지고 있습니다.