Discord admits AI moderation bug wrongfully banned users over harmless images

Discord는 5월부터 일부 계정이 무해한 이미지를 이유로 잘못 차단된 문제를 확인했다고 밝혔습니다. 주말 동안 추가로 약 200명의 이용자가 같은 오류로 차단됐으며, 회사는 원인을 식별해 수정했다고 설명했습니다.

이번 사례는 AI 모더레이션이 대규모 플랫폼 운영에 필수 도구가 되는 동시에, 오탐이 이용자 접근권과 신뢰에 직접적인 피해를 줄 수 있음을 보여줍니다. 특히 이미지 기반 정책 집행에서는 맥락 판단의 한계가 크기 때문에, 투명한 이의제기 절차와 사람의 검토를 결합한 운영 체계가 더 중요해지고 있습니다.