Transformers, 경량 모델 기반 ‘통합 계약’ 제안…UMT5 회귀 버그 재현

Hugging Face는 실제 체크포인트의 구조와 전처리 파일을 유지하면서 크기를 줄인 테스트 모델, 실행 예제, 검토된 기준 출력을 묶는 **Model Integration Contract(MIC)**을 제안했습니다. CPU에서 이 계약을 실행해 UMT5의 SDPA 회귀 버그를 재현했으며, 수정 전후 출력과 학습 손실 차이를 확인했습니다. 전체 하드웨어 통합 테스트를 대체하기보다는, 변경된 코드와 관련된 계약을 PR 단계에서 실행해 회귀를 일찍 잡는 방식입니다.

보고된 T5 계약 실행 시간은 설정 시간을 제외하고 CPU에서 13.4초로, PR 검증에 추가할 수 있는 비교적 작은 비용입니다. 다만 계약이 실제 경로를 대표하려면 SDPA처럼 기본 실행 경로와 각 아키텍처의 주요 레이어 유형을 보존해야 하며, 기준 출력 변경에는 사람의 검토가 필요합니다. 따라서 도입 시에는 테스트 범위와 기준값 갱신 책임을 정해야 하고, 경량 모델이 전체 체크포인트나 모든 하드웨어 조합의 문제까지 찾아내는지는 별도로 검증해야 합니다.