Meta, 8160억 매개변수 공개 가중치 멀티모달 MoE 모델 ‘Muse Spark Open’ 공개

Meta의 Muse Spark Open은 텍스트·이미지·오디오·비디오 입력을 받아 텍스트를 생성하는 공개 가중치 멀티모달 MoE 모델입니다. 전체 약 8160억 매개변수 중 토큰당 약 420억 개가 활성화되며, 최대 100만 토큰 컨텍스트와 코드베이스 읽기·수정·디버깅·도구 호출 등 에이전트형 코딩 작업을 목표로 학습됐다고 설명됐습니다. BF16 체크포인트는 약 1.5TB이고, transformers 기준 8개 H200 GPU 4노드 또는 NVFP4 단일 B200 노드 실행 구성이 제시됐습니다.

전문가가 토큰당 8개만 활성화돼 추론 연산량은 줄지만 256개 전문가를 모두 메모리에 올려야 하므로, 도입 여부는 메모리 비용과 배포 복잡도를 먼저 따져야 합니다. 긴 컨텍스트와 멀티모달 입력은 대규모 코드 분석·디버깅 에이전트에 유용할 수 있지만, 100만 토큰 사용 시 KV 캐시만 BF16 기준 약 266GB에 달해 실제 처리량과 비용은 별도 검증이 필요합니다.