MoE 전문가 간 협력 관계까지 반영하는 가지치기 기법 HOPE

HOPE는 전문가를 하나씩 평가해 제거하는 기존 방식과 달리, 함께 활성화되는 전문가 쌍의 기여도까지 고려해 가지치기 대상을 정합니다. 논문은 전문가를 50% 제거하는 조건에서 HOPE가 비교 방법 가운데 평균 순위가 가장 높았고, 에이전트형 코딩 작업에서 차선 방법보다 최대 6.1% 높은 성능을 보였다고 보고합니다.

전문가를 대폭 줄이려는 모델 운영자는 개별 중요도만으로 제거할 때 협력 관계가 깨질 위험을 줄이기 위해 HOPE를 검토할 수 있습니다. 다만 평가는 보정 데이터와 특정 작업을 바탕으로 했으며, 실제 배포 환경에서의 성능과 최적 보정 데이터 구성은 확인이 필요합니다.