Databricks, AI agent의 발전을 저해해 온 수십 년 된 데이터 파이프라인 문제 해결 선언

Databricks는 Data + AI Summit에서 Lakehouse//RT와 LTAP를 공개하며, 운영 데이터베이스와 분석 데이터베이스 사이의 장기적 단절을 줄이겠다고 밝혔습니다. Lakehouse//RT는 Delta 및 Iceberg 테이블에서 밀리초 단위 쿼리 지연을 제공하고, LTAP는 Postgres-native 트랜잭션 데이터를 쓰기 시점부터 Delta·Iceberg 형식으로 저장해 ETL 의존도를 낮춥니다.

AI agent가 실시간 데이터에 기반해 지속적으로 추론하고 행동하려면 기존 배치형 파이프라인과 별도 serving tier는 병목이 될 가능성이 큽니다. Databricks의 접근은 HTAP식 엔진 통합보다 스토리지 계층 통합에 무게를 두며, lakehouse를 agent 시대의 운영 인프라로 확장하려는 전략으로 해석됩니다.