Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- aws
- Dag
- Airflow
- 빅데이터
- Spark SQL
- Kubernetes
- Docker
- k8s
- topic
- etl
- Kafka
- disk spill
- redshift
- colab
- Spark Partitioning
- Speculative Execution
- mysql
- Salting
- Spark 실습
- DataFrame Hint
- SQL
- AQE
- off heap memory
- Spark
- backfill
- 데이터 파이프라인
- CI/CD
- Spark Caching
- KDT_TIL
- spark executor memory
Archives
- Today
- Total
목록dbt test (1)
JUST DO IT!
DBT의 추가 기능 알아보기 (seed, sources, snapshots, tests) - TIL230623
📚 KDT WEEK 12 DAY 5 TIL Dbt Seed Dbt Sources Dbt Snapshots Dbt tests 🟥 DBT Seed 많은 dimension 테이블들은 크기가 작고 많이 변하지 않으므로 이를 파일형태로 데이터웨어하우스로 로드하는 방법 Seeds는 작은 파일 데이터를 지칭한다. (보통 csv) 대충 굉장히 작은 csv 파일을 seeds/에 하나 만들었다. dbt seed 명령어를 통해 DB에 적재할 수 있다. colab에서 Redshift에 연결해서 테이블을 확인해보았다. 🟦 DBT Sources Staging 테이블들 만들 때 입력 테이블들이 자주 바뀐다면? > 각 테이블에 별칭 제공하는 기능 처음 입력이 되는 ETL 테이블들 대상으로 별칭을 제공하고 최신 레코드 체크 기능도 제..
TIL
2023. 6. 23. 21:43