Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- etl
- off heap memory
- spark executor memory
- AQE
- Spark Caching
- 빅데이터
- backfill
- Spark SQL
- DataFrame Hint
- Salting
- Speculative Execution
- CI/CD
- Spark Partitioning
- Dag
- disk spill
- SQL
- 데이터 파이프라인
- aws
- colab
- Kafka
- Spark
- Docker
- topic
- Kubernetes
- redshift
- k8s
- mysql
- KDT_TIL
- Airflow
- Spark 실습
Archives
- Today
- Total
목록airflow executor (1)
JUST DO IT!
간단한 Docker 이미지 만들어서 Docker hub에 넣고 실습해보기 - TIL230612
📚 KDT WEEK 11 DAY 1 TIL Docker 실습 리눅스 우분투 MySQL Airflow 측면에서 바라보는 Docker 더보기 Airflow 운영상의 어려움 DAG의 수가 많아지면 데이터 품질이나 데이터 리니지 이슈 등 외에도 다른도 발생하는데, DAG 라이브러리 충돌, Worker부족, Worker 서버들의 관리와 활용도 이슈 등이 발생할 수 있다. 이런 이슈들을 해결하기 위해 사용하는 방법으로, Docker와 K8s를 많이 사용한다. 태스크나 DAG 코드를 Docker Image로 만들어서 Docker Container 형태로 실행 라이브러리와 모듈 충돌 방지 개발 환경과 프로덕션 환경을 동일하게 유지 가능 Airflow Worker를 K8s(공용 서버 클러스터)에서 필요한 대로 동적으로 ..
TIL
2023. 6. 13. 02:01