Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Spark SQL
- Kafka
- 데이터 파이프라인
- etl
- DataFrame Hint
- SQL
- KDT_TIL
- Kubernetes
- mysql
- Speculative Execution
- Airflow
- Spark Caching
- Salting
- k8s
- topic
- disk spill
- redshift
- Spark Partitioning
- off heap memory
- colab
- Docker
- Spark
- 빅데이터
- AQE
- CI/CD
- aws
- Dag
- spark executor memory
- Spark 실습
- backfill
Archives
- Today
- Total
목록jinja template (1)
JUST DO IT!
Airflow에서의 Jinja Template - TIL230621
📐 Airflow에서 Jinja Template 사용하기 Jinja Template를 사용하면 Airflow의 Variables나 execution_date 등을 코드 내에서 쉽게 사용하기 좋다. Jinja Template을 지원하는 Operator의 Parameter에서만 사용 가능하다. BashOperator에서는 bash_command에서 Jinja Template를 사용할 수 있다. 아래는 그 예시이다. # BashOperator를 사용하여 템플릿 작업 정의 task1 = BashOperator( task_id='task1', bash_command='echo "{{ ds }}"', # ds로 execution_date 나타냄 dag=dag ) # 동적 매개변수가 있는 다른 템플릿 작업 정의 ta..
TIL
2023. 6. 22. 19:11