PrismML, Qwen 기반 Bonsai 2 27B를 5.9GB로 압축해 PC·스마트폰용 고성능 추론 LLM 가능성 제시

PrismML은 Alibaba의 오픈소스 모델 Qwen3.8 27B를 5.9GB로 줄인 Bonsai 2 27B를 공개하며, PC와 고사양 스마트폰에서 구동 가능한 추론 LLM을 목표로 한다고 밝혔습니다. Caltech 연구진이 설립하고 압축 기술 전문가 Babak Hassibi가 이끄는 이 스타트업은 원본 대비 메모리를 9~10배 줄이면서도 벤치마크 종합 점수의 98%를 유지했다고 설명했습니다.

PrismML의 주장이 검증된다면 LLM 활용은 클라우드 중심에서 기기 내 실행으로 빠르게 이동할 수 있으며, 지연시간·비용·개인정보 보호 측면에서 큰 변화를 가져올 수 있습니다. Multiverse Computing 등과의 경쟁은 모델 압축이 차세대 AI 인프라의 핵심 기술로 부상하고 있음을 보여줍니다.