VocabX, SLM 도메인별 어휘 최적화로 추론 비용 77% 절감 주장

Dharma-AI 연구진은 Qwen3-4B 기반 포르투갈어 에세이 자동 채점기에서 범용 토크나이저를 도메인 특화 어휘로 재구성해 측정 추론 비용을 77% 줄였다고 밝혔습니다. 공개 예정인 VocabX 논문 초안에 따르면 응답 생성 토큰의 비용을 입력 토큰보다 7.4배 높게 반영하고, 출력층 어휘 행 수를 약 152,000개에서 65,000개로 줄였습니다. 다만 해당 수치는 심사 중인 논문 기반으로, 정식 공개 전 변경될 수 있습니다.

단일 언어·고정 응답 형식처럼 출력 패턴이 반복되는 SLM 서비스라면 파인튜닝뿐 아니라 토크나이저와 LM head 크기를 비용 변수로 검토할 실익이 있습니다. 다만 어휘를 줄이면 특정 도메인에서는 비용을 낮출 수 있지만 범용성이나 예외 입력 대응력이 약해질 수 있으며, 이번 결과가 다른 하드웨어·배치 크기·문맥 길이에서도 같은 폭으로 재현되는지는 아직 확인이 필요합니다.