개인 개발자, 32GB RAM 일반 PC에서 GLM 5.2를 GPU 없이 구동하는 디스크 스트리밍 엔진 Colibrì 공개

본 기사는 개인 개발자가 GLM 5.2를 일반 32GB RAM PC에서 실행하기 위해 만든 엔진 Colibrì를 소개합니다. Colibrì는 744B Mixture-of-Experts 모델을 int4 양자화하고, 고정 dense 파라미터는 RAM에 두는 한편 routed experts는 약 370GB 디스크에서 필요할 때 스트리밍하는 방식으로 GPU 없이 동작합니다. 성능은 약 0.1 tok/s 수준으로 느리지만, 목표는 실용적 속도보다 제한된 하드웨어에서 대형 LLM을 실제로 구동하는 가능성을 입증하는 데 있습니다.

이 사례는 초대형 LLM 실행의 병목이 GPU 연산만이 아니라 메모리 계층과 파라미터 이동 방식에도 있음을 보여줍니다. MoE 희소성과 디스크 기반 캐싱을 결합하면 대형 모델의 로컬 실행 범위를 넓힐 수 있지만, 현재 방식은 저장공간과 지연시간 부담이 커 대화형 활용보다는 실험적 검증에 가깝습니다. 향후 로컬 AI 도구는 모델 구조, 양자화, OS page cache까지 포함한 시스템 최적화 경쟁으로 확장될 가능성이 큽니다.