PrismML, Qwen3.6 기반 Bonsai 27B 공개… 1-bit·ternary 양자화로 휴대폰과 일반 노트북에서 27B급 multimodal 추론 구현

PrismML은 Qwen3.6 27B를 기반으로 한 Bonsai 27B를 발표하며, 27B급 모델을 휴대폰에서 구동할 수 있다고 밝혔습니다. ternary 버전은 5.9GB, 1-bit 버전은 3.9GB로 축소됐으며, multi-step reasoning, structured tool calls, vision tasks, computer-use agentic loops를 지원합니다. 두 버전 모두 262K-token context와 speculative decoding을 지원하고, vision tower는 compact 4-bit 형태로 제공됩니다.

Bonsai 27B는 대형 LLM의 온디바이스 실행 가능성을 메모리 효율 관점에서 크게 앞당긴 사례로, low-bit 양자화가 단순 경량화를 넘어 고급 agentic 기능까지 겨냥하고 있음을 보여줍니다. 성능 검증과 실제 배터리·발열·지연시간 조건이 관건이지만, 성공적으로 확산될 경우 클라우드 의존도를 낮춘 private AI와 edge AI 애플리케이션 경쟁이 한층 가속될 수 있습니다.