Livenerf, Claude Opus 5.5 출시 당일부터 조용한 성능 저하 여부를 추적하는 장기 벤치마크 프로젝트 공개

GitHub 프로젝트 Livenerf는 frontier model이 출시 이후 성능이 낮아지는지 장기간 추적하기 위한 append-only 벤치마크입니다. Claude Opus 5.5 출시일인 2026년 9월 22일부터 기준선을 만들고, 고정된 prompts, pinned CLI, 정확한 graders, 원시 로그를 통해 통계적으로 drift를 측정합니다.

Livenerf는 모델 제공사가 같은 이름 아래 quantization, routing 변경, 낮은 추론 노력 등을 적용했는지 검증하려는 수요가 커지고 있음을 보여줍니다. API가 아닌 Claude Max와 headless Claude Code 기반으로 측정한다는 점은 실제 사용자 경험을 반영하지만, 완전한 결정성을 확보하기 어려운 LLM 평가의 한계도 함께 드러냅니다.