DeepSeek open sources DSpark, a new framework to speed up LLM inference by up to 85%

DeepSeek가 LLM 응답 속도를 높이기 위한 MIT 라이선스 프레임워크 DSpark를 공개했습니다. DSpark는 작은 ‘스카우트’ 모델이 다음 토큰 경로를 미리 예측하고 대형 모델이 이를 빠르게 검증하는 추측 디코딩 방식으로, 모델의 의도는 유지하면서 추론 지연을 줄이는 데 초점을 맞춥니다. DeepSeek는 기술 논문, 모델 체크포인트, 학습·평가용 DeepSpec 코드베이스도 함께 공개했습니다.

이번 공개는 대형 모델 서비스의 핵심 병목인 추론 비용과 응답 지연을 줄이려는 경쟁이 본격화되고 있음을 보여줍니다. MIT 라이선스 공개로 연구자와 기업이 상용 환경에서 직접 실험·개량할 수 있어, 고성능 LLM 운영 기술의 확산 속도가 빨라질 가능성이 큽니다. 특히 중국발 오픈소스 AI 생태계가 모델뿐 아니라 배포 효율화 계층까지 영향력을 넓히고 있다는 점이 주목됩니다.