dbt (data build tool)

👍 장점

SQL로 변환 로직을 작성하고 Git에서 버전 관리할 수 있어 데이터 파이프라인의 신뢰성이 크게 올랐습니다. 테스트 기능으로 데이터 품질을 자동으로 검증하고, 자동 생성되는 문서로 데이터 계보를 팀 전체가 쉽게 파악할 수 있습니다.

👎 단점

데이터 웨어하우스를 이미 사용 중인 팀에 최적화되어 있어 처음 도입 시 인프라 구성이 선행되어야 합니다. SQL에 익숙하지 않은 비개발 직군이 직접 사용하기 어렵고, Jinja 템플릿 문법을 배우는 러닝커브가 있습니다.

👍 장점

수백 개의 커넥터가 사전 구성되어 있어서 새로운 데이터 소스를 연결하는 데 하루도 걸리지 않습니다. 스키마 변경이 자동으로 반영되어 파이프라인 관리 부담이 크게 줄었고, 데이터 엔지니어가 인프라 관리보다 분석에 집중할 수 있게 되었습니다. 모니터링 대시보드도 직관적입니다.

👎 단점

비용이 데이터 볼륨 기준이라 처음엔 적게 시작해도 데이터가 늘면 급격히 올라가서 예산 관리가 필요합니다. 일부 한국 SaaS 서비스 커넥터가 없어서 직접 개발해야 하는 경우가 있었습니다. 변환 기능이 dbt와 비교하면 아직 기본적인 수준입니다.

👍 장점

수백 개의 커넥터가 사전 구성되어 있어서 새로운 데이터 소스를 연결하는 데 하루도 걸리지 않습니다. 스키마 변경이 자동으로 반영되어 파이프라인 관리 부담이 크게 줄었고, 데이터 엔지니어가 인프라 관리보다 분석에 집중할 수 있게 되었습니다. 모니터링 대시보드도 직관적입니다.

👎 단점

비용이 데이터 볼륨 기준이라 처음엔 적게 시작해도 데이터가 늘면 급격히 올라가서 예산 관리가 필요합니다. 일부 한국 SaaS 서비스 커넥터가 없어서 직접 개발해야 하는 경우가 있었습니다. 변환 기능이 dbt와 비교하면 아직 기본적인 수준입니다.

👍 장점

오픈소스라 라이선스 비용 없이 자체 호스팅하면서 원하는 대로 커스터마이징할 수 있습니다. 커뮤니티가 활발하게 커넥터를 기여하고 있고, 클라우드 버전으로 전환도 쉽습니다. 소규모 팀에서 시작해서 점진적으로 확장하기에 좋습니다.

👎 단점

자체 호스팅 시 인프라 유지보수 비용과 공수가 만만치 않습니다. 유료 솔루션 대비 엔터프라이즈급 기능(데이터 품질 관리, 거버넌스)이 부족합니다. 문제 발생 시 공식 지원이 아닌 커뮤니티에 의존해야 해서 빠른 해결이 어렵습니다.

👍 장점

수백 개의 커넥터가 사전 구성되어 있어서 새로운 데이터 소스를 연결하는 데 하루도 걸리지 않습니다. 스키마 변경이 자동으로 반영되어 파이프라인 관리 부담이 크게 줄었고, 데이터 엔지니어가 인프라 관리보다 분석에 집중할 수 있게 되었습니다. 모니터링 대시보드도 직관적입니다.

👎 단점

비용이 데이터 볼륨 기준이라 처음엔 적게 시작해도 데이터가 늘면 급격히 올라가서 예산 관리가 필요합니다. 일부 한국 SaaS 서비스 커넥터가 없어서 직접 개발해야 하는 경우가 있었습니다. 변환 기능이 dbt와 비교하면 아직 기본적인 수준입니다.