·Hugging Face Blog
NVIDIA·IIT 마드라스, 인도 22개 언어용 2조8000억 토큰 사전학습 말뭉치 공개 예고
NVIDIA와 IIT 마드라스 AI4Bharat는 인도 헌법상 22개 언어를 대상으로 한 약 2조8000억 토큰 규모의 'Nemotron-pretraining-Indic-v1' 말뭉치와 GPU 가속 데이터 생성 파이프라인을 공개할 예정입니다. 말뭉치는 22개 언어의 고유 문자로 작성한 데이터와 12개 언어의 로마자 표기...
읽기 →