요약·해설: 긱하우스 편집팀. 편집 책임: 장진호 대표
피드로 돌아가기Inkling 2 Mini, 26.4B 매개변수로 노트북 구동 지원
긱하우스 편집팀 · 출처와 편집 원칙
편집자 요약
Inkling은 추론 과정에서 모델의 중간층을 토큰마다 3회 실행하는 소형 모델 Inkling 2 Mini를 공개했습니다. 총 264억 개, 활성 매개변수 34억 개의 혼합 전문가 모델로, 메모리 사용량은 약 20GB이며 가중치를 공개하고 Tinker에서 추론과 맞춤화를 제공한다고 밝혔습니다. 회사가 제시한 평가에서 100B 미만 공개 가중치 모델 가운데 DeepSWE v1.1 점수는 48.2%, Vals Index v2.2 점수는 46.5%였습니다.
해설
중간층 반복 실행은 토큰을 더 적게 생성하면서 추론을 강화하고, 약 20GB 메모리로 로컬 실행을 가능하게 한다는 점에서 코딩 에이전트를 자체 장비에서 운용하려는 개발자에게 선택지를 넓힙니다. 다만 반복 실행은 연산량과 메모리 대역폭 부담을 수반하며, 제시된 성능은 모델별 평가 설정이 다를 수 있어 실제 도입 전에는 사용하는 도구·실행 환경에서 속도와 정확도를 별도로 검증해야 합니다.
댓글
토론
> geekhaus:~$ 다음 기사 읽기