Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
Tags
- colab
- KDT_TIL
- backfill
- Spark
- aws
- Spark Caching
- Airflow
- DataFrame Hint
- Salting
- Spark Partitioning
- AQE
- Dag
- Speculative Execution
- off heap memory
- redshift
- k8s
- spark executor memory
- 데이터 파이프라인
- mysql
- topic
- SQL
- Kafka
- etl
- 빅데이터
- Kubernetes
- Spark SQL
- Spark 실습
- disk spill
- CI/CD
- Docker
Archives
- Today
- Total
목록jinja template (1)
JUST DO IT!
Airflow에서의 Jinja Template - TIL230621
📐 Airflow에서 Jinja Template 사용하기 Jinja Template를 사용하면 Airflow의 Variables나 execution_date 등을 코드 내에서 쉽게 사용하기 좋다. Jinja Template을 지원하는 Operator의 Parameter에서만 사용 가능하다. BashOperator에서는 bash_command에서 Jinja Template를 사용할 수 있다. 아래는 그 예시이다. # BashOperator를 사용하여 템플릿 작업 정의 task1 = BashOperator( task_id='task1', bash_command='echo "{{ ds }}"', # ds로 execution_date 나타냄 dag=dag ) # 동적 매개변수가 있는 다른 템플릿 작업 정의 ta..
TIL
2023. 6. 22. 19:11