·github.com
GigaToken, HuggingFace tokenizers 대비 최대 1000배 빠른 언어 모델 토큰화 라이브러리 공개
GitHub 프로젝트 GigaToken은 언어 모델용 토큰화를 GB/s 단위 처리량으로 수행하는 drop-in replacement 라이브러리입니다. pip로 설치할 수 있으며 HuggingFace Tokenizers와 tiktoken 호환 모드를 제공해 기존 encode_batch 흐름에 비교적 쉽게 적용할 수 있습니다...
읽기 →