Structured AI data pipelines score 10.9 points below free-form code — DataFlow-Harness closes the gap

Peking University 등 연구진은 LLM agent가 원시 코드를 바로 작성하는 대신 단계별로 구조화된 데이터 처리 workflow를 만들도록 유도하는 오픈소스 프레임워크 DataFlow-Harness를 공개했습니다. 이 프레임워크는 12개 데이터 엔지니어링 benchmark에서 93.3%의 end-to-end 통과율을 기록했으며, 표준 Claude Code 대비 API 비용을 최대 72.5%, 응답 지연을 49.9% 줄였다고 보고했습니다.

DataFlow-Harness는 LLM 기반 코드 생성의 강점을 유지하면서도 MLOps 팀이 요구하는 감사 가능성, 시각적 편집성, 운영 통제성을 workflow 단위로 끌어올리려는 시도입니다. 기업 환경에서는 단발성 자동화보다 지속적으로 관리 가능한 생산형 파이프라인이 중요해지고 있어, 향후 AI coding agent 평가는 코드 정확도뿐 아니라 통합성·거버넌스·비용 효율성으로 확대될 가능성이 큽니다.