NVIDIA·IIT 마드라스, 인도 22개 언어용 2조8000억 토큰 사전학습 말뭉치 공개 예고

NVIDIA와 IIT 마드라스 AI4Bharat는 인도 헌법상 22개 언어를 대상으로 한 약 2조8000억 토큰 규모의 'Nemotron-pretraining-Indic-v1' 말뭉치와 GPU 가속 데이터 생성 파이프라인을 공개할 예정입니다. 말뭉치는 22개 언어의 고유 문자로 작성한 데이터와 12개 언어의 로마자 표기 데이터를 포함하며, 영어 원문에서 번역·품질 평가·수정 과정을 거쳐 생성됐고 각 결과물은 원문 문서까지 추적할 수 있도록 설계됐습니다.

자료가 공개되면 인도 언어 모델 개발팀은 기술 문서, 수학, 코드, 질의응답을 포함한 학습 데이터를 활용할 수 있습니다. 다만 영어에서 번역한 합성 데이터가 현지 지식과 문화적 맥락을 충분히 담는지는 별도로 검증해야 하며, 전체 토큰 수만으로 언어별 품질이나 실제 모델 성능을 판단할 수는 없습니다.