Google, 수면 단계 활용한 LLM 지속 학습 프레임워크 공개

Google Research의 Ali Behrouz와 Vahab Mirrokni는 새 정보를 단기 기억에서 장기 파라미터로 옮기는 ‘수면’ 단계 기반의 LLM 지속 학습 프레임워크를 소개했습니다. 모델은 입력을 받는 활성 단계와 오프라인 통합·자율 개선 단계를 번갈아 거치며, 연구진은 최대 1,000만 토큰의 장문 지식 유지와 복합 추론 향상을 시연했다고 밝혔습니다.

새 지식을 반영할 때 기존 파라미터를 덮어쓰는 대신 저랭크 전문가 블록을 추가하는 설계는 배포 모델의 지속 업데이트를 검토하는 개발자에게 망각 위험을 줄이는 선택지가 될 수 있습니다. 다만 수면 단계에는 입력 처리를 멈추고 자체 생성 데이터로 추가 학습하는 절차가 필요하므로, 실제 서비스에서 필요한 중단 시간과 계산 비용, 장기간 운영 시 성능 유지 여부는 별도 검증이 필요합니다.