Durable workflow에 별도 orchestration 계층 대신 SQLite와 Litestream을 쓰는 경량 운영 모델 제안

본 기사는 durable execution에서 핵심은 별도 인프라가 아니라 workflow state의 보존이며, 상당수 시스템에는 SQLite만으로 충분하다고 주장합니다. Obelisk의 실행 로그와 replay 모델에 SQLite를 결합하고, Litestream으로 변경분을 S3 호환 object storage에 비동기 복제하면 백업·마이그레이션·검사에 유용한 단순한 운영 구성이 가능하다고 설명합니다.

이 접근은 durable workflow를 대규모 분산 orchestration 문제로 보기보다, 로컬 파일 기반의 durable state 관리 문제로 축소한다는 점에서 의미가 있습니다. 다만 Litestream 복제는 비동기 방식이므로 최신 write 손실 가능성이 있으며, 고가용성 공유 database가 필요한 업무보다는 AI 실험, batch 작업, 내부 도구처럼 재시도와 일부 손실 허용이 가능한 영역에 적합합니다.

SQLite is all you need for durable workflows