nishtahir.com 모음

LLM 출력 토큰을 고정 선택지로 제한해 단일 패스 의사결정 모델을 구현하는 방법

본 기사는 일반 LLM이 JSON 같은 구조화 출력을 생성할 때 여러 토큰별 추론 패스를 거치는 반면, 고정 선택지 기반 decision model은 가능한 답변 토큰을 제한해 한 번의 패스로 응답을 선택할 수 있다고 설명합니다. Qwen/Qwen3-1.7B를 예로 들어 A~E 같은 선택지만 출력하도록 vocabulary...