Airflow Backfill - TIL230608

📚 KDT WEEK 10 DAY 4 TIL

• Airflow Backfill

---

 

🟥 Backfill

과거에 읽어온 데이터들의 문제가 발생했거나 실패한 데이터 파이프라인을 재실행하는 것

Full Refresh 방식의 경우 다시 재실행하면 그만이지만, Incremental Update 방식에서 중요한 수단이다.

 

Backfill을 알기 전에 알아야할 중요한 요소가 있다.

 

DAG를 만들면서 지정해주던 날짜 변수인 start_date는 DAG의 처음 실행 날짜와는 다르다.

만약 Daily Incremental Update(매일 새로운 데이터 적재) 방식으로 ETL을 구성했다면,

start_date가 2023-06-01 이라고 지정했을 때, 처음 DAG가 실행되는 날짜는 2023-06-02가 된다.

 

start_date는 처음 읽어오는 데이터의 날짜이기 때문이다. 데이터가 모두 쌓인 그 다음날에야 DAG가 실행되는 것이다.

 

start_date	DAG가 처음 읽어와야하는 데이터의 날짜/시간
DAG의 첫 실행 날짜	start_date + DAG의 실행주기
execution_date	DAG가 읽어와야하는 데이터의 날짜/시간 >> Airflow가 계산하며, 우리는 이걸 활용하면 됨!
catchup	첫 DAG 실행 후 start_date가 과거일 때, 이전 데이터를 실행할지 결정 (default는 True)
end_date	Backfill 사용시 날짜 범위에서 끝나는 날짜를 지정할 때 사용