·people.kernel.org
git.kernel.org, AI 크롤러의 비효율적 HTML 스크래핑으로 정상 이용보다 큰 CPU 부하 겪어
본 기사는 git.kernel.org가 AI 크롤러 때문에 지속적인 시스템 부하를 겪고 있으며, 5개 지리 분산 노드에서 상시 14개 CPU 코어가 git commit을 HTML로 렌더링하는 데 쓰이고 있다고 전합니다. 문제는 필요한 데이터가 git clone으로 효율적으로 확보될 수 있음에도, 크롤러들이 가장 비효율적인...
읽기 →