Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- mysql
- Spark Caching
- 빅데이터
- Airflow
- aws
- spark executor memory
- Spark 실습
- Docker
- topic
- redshift
- Kubernetes
- Spark SQL
- Kafka
- AQE
- DataFrame Hint
- KDT_TIL
- disk spill
- etl
- off heap memory
- 데이터 파이프라인
- backfill
- colab
- Spark
- CI/CD
- Spark Partitioning
- Salting
- k8s
- SQL
- Speculative Execution
- Dag
Archives
- Today
- Total
목록Airflow log 삭제 백업 (1)
JUST DO IT!
Airflow 운영에 주의사항과 Airflow 대안 서비스 알아보기 - TIL230622
📚 KDT WEEK 12 DAY 4 TIL Airflow 운영 Airflow 대안 🟥 프로덕션 사용을 위한 Airflow 환경 설정 1. airflow.cfg core 섹션의 dags_folder가 들어있는 디렉토리 설정 dag_dir_list_interval에 설정된 dag 폴더 스캔 주기 설정(초단위) 모든 DAG를 한번씩 실행해보기 때문에, 이게 곤란한 DAG들은 airflowignore 활용 2. DB의 정보를 주기적으로 백업하는게 좋다. Airflow의 기본 DB는 Sqlite이지만 Postgres나 MySQL로 바꾸는 경우, airflow.cfg의 core 섹션의 sql_alchemy_conn 설정 변경과 Executor 변경필요 3. Authentication과 보안 기본으로 주어지는 어드민..
TIL
2023. 6. 22. 20:14