멀티벡터 임베딩, 토큰 풀링 반영 학습으로 검색 품질 손실 줄여

토큰 풀링은 유사한 문서 토큰 벡터를 병합해 멀티벡터 검색의 저장 공간을 줄이는 기법입니다. Sentence Transformers를 이용한 실험에서 풀링 인자 4를 적용하면 일반 학습 모델은 비압축 상태의 NanoBEIR nDCG@10을 94.6% 유지했지만, 풀링 반영 학습 모델은 같은 저장 예산에서 97.8%를 유지했습니다. 문서 벡터 수는 약 4분의 1로 줄었습니다.

저장 공간이 제약된 검색 시스템이라면 풀링을 적용하는 것뿐 아니라 학습 단계에서 압축 후 검색 손실을 함께 최적화하는 방안을 검토할 수 있습니다. 다만 제시된 수치는 NanoBEIR와 특정 풀링 설정의 결과이며, 실제 검색 품질과 문서별 벡터 수는 코퍼스 특성에 따라 달라질 수 있어 자체 데이터로 검증해야 합니다.