로컬 GPU로 학습한 Jeff, Jev 호환 0.8B 결정 모델로 30ms 안팎 제로샷 분류 공개

Jeff는 Qwen3.5와 Gemma 4를 fine-tune한 소형 결정 모델로, Jev와 같은 요청 형식에서 상황과 선택지를 입력하면 단일 forward pass로 각 선택지의 보정 확률을 반환합니다. 생성 텍스트나 파싱 없이 RTX PRO 6000에서 약 22ms, Apple M4 Max MLX에서 약 28ms의 응답 시간을 제시하며, 0.8B 모델은 단일 RTX PRO 6000에서 약 2시간 만에 학습됐습니다. 제로샷 정확도가 부족한 경우 짧은 fine-tuning으로 음성 내비게이션 과제의 hold-out 정확도를 31.7%에서 95.8%로 끌어올렸다고 설명합니다.

Jeff는 범용 LLM 호출 대신 애플리케이션 내부의 빠른 의사결정 레이어로 쓰이는 소형 모델 수요를 겨냥합니다. 로컬 워크스테이션과 공개 모델 기반 합성 데이터만으로 학습했다는 점은 비용, 지연 시간, 데이터 통제 측면에서 클라우드 의존도를 낮추는 흐름과 맞닿아 있습니다. 다만 작은 모델인 만큼 복잡한 추론에서는 대형 Jev급 모델을 대체하기보다, 명확한 선택지 분류와 도메인별 fine-tuning에 최적화된 보완재에 가깝습니다.