Hugging Face, PyTorch용 TPU 백엔드 TorchTPU 공개

Hugging Face가 TPU를 PyTorch의 네이티브 실행 장치로 지원하는 TorchTPU를 소개했습니다. Transformers와 Diffusers 모델을 코드 변경을 최소화해 TPU에서 실행할 수 있고, 분산 학습과 torch.compile, TPU용 커널도 지원합니다. Hugging Face는 TPU에서 실행한 테스트 가운데 96.5%가 통과했으며, 발견된 이슈 34건 중 19건을 수정했다고 밝혔습니다.

기존 PyTorch/XLA의 지연 실행과 그래프 재컴파일 부담을 줄일 수 있다면, PyTorch 기반 모델을 TPU로 이전하려는 개발팀의 선택지가 넓어집니다. 다만 테스트 통과율이 96.5%이고 TPU 지원이 계속 개선 중인 만큼, 실제 도입 전에는 사용하는 모델·연산의 호환성과 컴파일 이후 성능을 검증해야 합니다.