Data Engineering Quick Setup (45분)
데이터 파이프라인 구축 및 분석 환경을 위한 가이드입니다.
1. 설치 순서
- Python & dbt: `pip install dbt-core dbt-postgres`
- OLAP Engine: `duckdb` 설치 (로컬 분석용)
- DB Client: DBeaver 또는 Beekeeper Studio (Postgres 지원)
- Docker: 가상 데이터베이스 실행용
2. 필수 설정 3개
- dbt Profiles: `~/.dbt/profiles.yml`에 데이터베이스 연결 정보 설정
- SQL Linting: SQLFluff 설치 및 프로젝트 룰 적용
- Data Visualization: Evidence 또는 Metabase 로컬 실행 설정
3. 흔한 에러 3개 + 해결
1) dbt 연결 실패: `dbt debug` 명령어로 credentials 확인
2) Python 버전 충돌: dbt 전용 가상환경(venv) 사용 권장
3) 메모리 부족: DuckDB 대용량 처리 시 로컬 디스크 스왑 설정 확인
4. 팀 합류 체크리스트 (Day 1)
# 1. dbt 프로젝트 초기화 및 연결 테스트
dbt deps
dbt debug
# 2. 모델 빌드
dbt run
# 3. 데이터 테스트
dbt test
✅ 성능 확인: `target/` 폴더에 컴파일된 SQL 파일 생성 확인