Google, Gemma 4용 MTP drafter 공개…speculative decoding으로 LLM 추론 지연 최대 3배 단축

Google은 Gemma 4 제품군에 적용할 Multi-Token Prediction drafter를 공개해 LLM 추론 속도를 최대 3배 높인다고 밝혔습니다. 이 방식은 경량 drafter가 여러 후보 토큰을 먼저 예측하고, Gemma 4 같은 대상 모델이 이를 검증하는 speculative decoding 구조로 지연 병목을 줄입니다. Google은 LiteRT-LM, MLX, Hugging Face Transformers, vLLM 환경에서 tokens-per-second 개선을 확인했다고 설명했습니다.

이번 공개는 대형 모델의 성능 경쟁이 단순한 파라미터 확장보다 추론 효율 최적화로 이동하고 있음을 보여줍니다. 특히 consumer-grade hardware와 개발자 워크스테이션에서 VRAM 대역폭 병목을 완화하면, 로컬 AI 애플리케이션의 응답성 개선과 운영 비용 절감 효과가 커질 수 있습니다.

Accelerating Gemma 4: faster inference with multi-token prediction drafters