요약·해설: 긱하우스 편집팀. 편집 책임: 장진호 대표
피드로 돌아가기Cloudflare, 데이터 파이프라인 개선으로 하드웨어 확장 부담 줄여
긱하우스 편집팀 · 출처와 편집 원칙
편집자 요약
Cloudflare 데이터팀은 2026년 5월 초당 약 20억 건의 이벤트를 처리하는 파이프라인에서 트래픽 증가에 대응하기 위해 구조를 개선해 왔습니다. 제품별 스키마 분리와 zstd 압축으로 각각 전송량을 35~40% 줄였고, 분석 데이터의 복제 방식을 바꿔 적용 대상 데이터셋에서 광역망 트래픽을 순 36GB/s 낮췄습니다.
해설
분석 데이터 복제를 중앙 수신 이후로 미루고 샘플링을 거친 데이터만 복제하면, 재해 대응용 이중 저장을 유지하면서도 광역망 전송을 줄일 수 있습니다. 다만 이 방식은 Buftee의 보존 버퍼와 데이터센터 간 연결 복구에 의존하므로, 실제 운영에서는 버퍼 용량과 장애 시 따라잡기 시간을 함께 검증해야 합니다. 본문은 추가 데이터셋으로의 이전이 진행 중이라고 밝히지만, 전체 파이프라인에 적용했을 때의 절감 규모는 제시하지 않습니다.