요약·해설: 긱하우스 편집팀. 편집 책임: 장진호 대표
피드로 돌아가기Thinking Machines Lab, 로컬 실행 겨냥한 260억 매개변수 ‘Inkling 2 Mini’ 공개
긱하우스 편집팀 · 출처와 편집 원칙
편집자 요약
Thinking Machines Lab이 텍스트와 이미지를 처리하고 최대 100만 토큰 문맥을 지원하는 혼합 전문가 모델 Inkling 2 Mini를 공개했습니다. 총 매개변수는 약 260억 개지만 토큰당 활성 매개변수는 30억 개이며, 중간 12개 층을 세 차례 반복해 실행합니다. 게시물은 자체 평가에서 48개 벤치마크 중 32개에서 비교 모델보다 앞섰다고 밝혔으며, Transformers·llama.cpp·MLX와 SGLang 실행도 지원한다고 설명합니다.
해설
토큰당 활성 매개변수가 30억 개라는 점은 로컬 배포 후보로 검토할 근거가 되지만, 반복 실행 구조상 실제 메모리 사용량과 지연 시간은 활성 매개변수 수만으로 판단하기 어렵습니다. 배포 전에는 사용할 실행 환경과 하드웨어에서 성능을 측정하고, 32개 벤치마크 우위가 자체 평가에 기반한 만큼 독립 검증 결과와 작업별 품질도 확인해야 합니다.
댓글
토론
> geekhaus:~$ 다음 기사 읽기