Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- backfill
- Speculative Execution
- colab
- Spark Caching
- Airflow
- SQL
- DataFrame Hint
- Kubernetes
- Spark SQL
- topic
- KDT_TIL
- Spark
- off heap memory
- mysql
- k8s
- spark executor memory
- Spark Partitioning
- AQE
- Dag
- etl
- 데이터 파이프라인
- disk spill
- Kafka
- redshift
- 빅데이터
- aws
- Salting
- Spark 실습
- CI/CD
- Docker
Archives
- Today
- Total
목록BranchPythonOperator (1)
JUST DO IT!
Airflow Trigger와 Sensor로 Dag Dependencies 설정하기 - TIL230621
📚 KDT WEEK 12 DAY 3 TIL Dag Dependencies Explicit Trigger Reactive Trigger(Sensor) 다른 Operator Trigger rule Dag Dependencies는 DAG끼리 의존성을 가져 task 실행 순서 등을 정의하는 것이다. Airflow에서는 Dag Dependencies를 설정하는 방법에 크게 두 가지로 나뉜다. 예를 들어 DAG A > DAG B의 순서를 가질 경우, 1. Explicit trigger TriggerDagOperator를 DAG A에 두어, DAG A가 명시적으로 DAG B를 트리거 2. Reactive trigger ExternalTaskSensor를 DAG B를 두어, DAG B가 DAG A의 테스크가 끝나기를 ..
TIL
2023. 6. 22. 19:28