AWS Trainium에서 TorchNeuron 추론 성능 프로파일링하기: 시스템 추적 기초

AWS가 TorchNeuron을 이용해 Trainium에서 PyTorch 추론 성능을 분석하는 방법을 소개합니다. torch.profiler와 Neuron Explorer로 CPU 작업과 Neuron 장치 시간을 비교하고, RMSNorm의 비융합·융합·torch.compile 구현에서 연산별 실행 흐름을 추적합니다.

예제에서는 비융합 RMSNorm의 Neuron 장치 시간 2.355ms 가운데 aten::mul이 49.5%를 차지해, 연산별 병목을 확인한 뒤 융합 구현을 검토할 근거를 제공합니다. 다만 이 수치는 특정 입력과 실행 환경의 결과이므로 실제 서비스에 적용하기 전에는 대표적인 모델·입력 크기로 다시 측정해야 하며, 이 글만으로 세 구현의 최종 성능 우위를 단정할 수는 없습니다.