요약·해설: 긱하우스 편집팀. 편집 책임: 장진호 대표
피드로 돌아가기변환기로 32GB 맥에서 180B MoE 모델 추론…SSD 전문가 스트리밍 구현
긱하우스 편집팀 · 출처와 편집 원칙
편집자 요약
Tarek Ziadé는 변환기(Transformers)에 MoE 전문가를 SSD에서 읽어 장치 캐시에 적재하는 기능을 구현해, 32GB 메모리의 Mac에서 Qwen3.8-Flash-Next를 실행했습니다. 전문가를 슬롯 풀에 매핑해 기존 묶음 행렬 연산을 재사용했으며, 해당 기능은 아직 개발자 제안 단계입니다. 글에 제시된 성능 비교에서는 전문가가 메모리에 들어가는 경우 llama.cpp가 강점을 보였고, 전문가를 SSD에서 스트리밍해야 하는 환경에서는 캐시와 사전 읽기가 핵심으로 꼽혔습니다.
해설
전문가 가중치를 전부 메모리에 올리지 않고 필요한 항목만 읽는 방식은 메모리가 제한된 장치에서 대형 MoE 모델을 시험할 선택지를 넓힙니다. 다만 이 구현은 변환기 PR로 제안된 단계이며, 글은 32GB Mac에서의 최종 토큰 생성 속도를 제시하지 않아 코딩 에이전트에 실용적인지 판단하기 어렵습니다. 도입을 검토하는 개발자는 SSD 읽기 지연과 캐시 크기, 모델별 전문가 구조 지원 여부를 함께 확인해야 합니다.
댓글
토론
> geekhaus:~$ 다음 기사 읽기