LLM 출력 토큰을 고정 선택지로 제한해 단일 패스 의사결정 모델을 구현하는 방법

본 기사는 일반 LLM이 JSON 같은 구조화 출력을 생성할 때 여러 토큰별 추론 패스를 거치는 반면, 고정 선택지 기반 decision model은 가능한 답변 토큰을 제한해 한 번의 패스로 응답을 선택할 수 있다고 설명합니다. Qwen/Qwen3-1.7B를 예로 들어 A~E 같은 선택지만 출력하도록 vocabulary를 masking하는 방식의 구현 아이디어를 제시합니다.

이 접근은 LLM을 자유 생성기보다 빠른 분류·선택 엔진으로 활용하려는 흐름과 맞닿아 있으며, 지연시간과 비용이 중요한 애플리케이션에서 실용성이 큽니다. 다만 출력 토큰 확률을 곧바로 정답 확률로 해석하기는 어렵기 때문에, 신뢰도 보정이나 추가 학습 없는 confidence score 활용에는 주의가 필요합니다.