Nvidia finds that simple linear math can replace costly AI model handoffs

NVIDIA 연구진은 agentic AI 시스템에서 작은 모델과 큰 모델 간 작업을 넘길 때 발생하는 재계산 비용을 줄이기 위해 cross-model KV cache transfer 기법을 제안했습니다. 이 방식은 소스 모델의 prefilled KV cache를 타깃 모델에 선형 매핑해 긴 대화 이력을 처음부터 다시 처리하지 않도록 하며, 호환 모델 쌍에서 재계산 대비 2.7~25배 빠른 속도와 최대 98%의 정확도를 보였습니다.

이 접근법은 장기 실행 multi-LLM 워크플로에서 병목으로 지적돼 온 prefill 비용과 지연 시간을 줄일 수 있어, 기업용 agentic AI의 운영 경제성에 직접적인 영향을 줄 수 있습니다. 특히 고가의 추가 딥러닝 모델 없이 선형 변환만으로 모델 간 메모리 이식을 구현했다는 점은 LLM 오케스트레이션 최적화가 모델 성능 경쟁을 넘어 시스템 효율 경쟁으로 확장되고 있음을 보여줍니다.