Meta·Google 연구진, LLM test-time scaling 전략 자동 설계하는 AutoTTS로 token 사용량 최대 69.5% 절감

Meta, Google 및 여러 대학 연구진은 LLM의 추론 시 추가 연산을 배분하는 test-time scaling 전략을 자동으로 탐색하는 AutoTTS를 공개했습니다. AutoTTS는 사람이 직접 설계하던 분기, 심화, 가지치기, 중단 규칙을 최적화해 정확도 저하 없이 token 사용량을 최대 69.5% 줄였습니다.

AutoTTS는 고급 reasoning model 운영에서 비용과 성능의 균형을 사람이 만든 heuristic이 아니라 자동 탐색으로 조정할 수 있음을 보여줍니다. 이는 기업 환경에서 추론 비용 최적화가 모델 선택만큼 중요한 경쟁 요소로 부상하고 있으며, 향후 LLM 배포 스택에 동적 compute allocation 계층이 포함될 가능성을 시사합니다.