9B 이미지 프롬프트 재작성 모델을 0.8B로 축소…학습 비용 16달러

Hugging Face의 ML-intern을 활용해 Qwen-Image 2.1용 9B 프롬프트 재작성 모델을 0.8B로 증류한 사례를 소개합니다. 저자는 CPU에서 구동되는 소형 모델이 유효한 출력을 99.7% 생성하고 교사 모델보다 토큰을 약 4분의 1만 사용했으며, 데이터 라벨링을 포함한 전체 프로젝트의 연산 비용은 16달러였다고 밝혔습니다. 같은 방식으로 이미지 LoRA와 특정 분야용 모델 등 여러 모델을 만들고 평가 결과를 공개했습니다.

이 사례는 소규모 모델이나 맞춤형 LoRA가 필요할 때, 자체 학습 인프라를 먼저 마련하기보다 에이전트에 작업을 맡기고 예산·기준 성능·소규모 사전 시험을 명시하는 접근이 실용적일 수 있음을 보여줍니다. 다만 비용과 성능은 공개된 개별 프로젝트의 결과이며, 모델별 평가 데이터와 작업량이 달라 다른 개발 환경에서도 같은 비용이나 품질을 기대할 수 있는지는 확인되지 않았습니다.