| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 | 31 |
- Spark Partitioning
- Airflow
- etl
- CI/CD
- 데이터 파이프라인
- KDT_TIL
- Spark Caching
- AQE
- Spark
- k8s
- DataFrame Hint
- Dag
- Spark 실습
- Docker
- Salting
- SQL
- Kafka
- spark executor memory
- topic
- 빅데이터
- off heap memory
- backfill
- colab
- redshift
- Kubernetes
- Speculative Execution
- aws
- Spark SQL
- disk spill
- mysql
- Today
- Total
목록k8s (2)
JUST DO IT!
Docker Container 관리에 중요한 K8s 알아보기 - TIL230616
📚 KDT WEEK 11 DAY 5 TIL Docker를 사용하는 이유 - 서버 관리의 어려움 Docker Container를 관리하는 방법 - Container Orchestration K8s 🟥 서버 관리의 어려움 서버의 수가 많아지고 다양한 문제가 발생했을 때 문제를 해결하는 방법 1. Infrastructure As Code 대화형 명령이 아닌 자동화된 스크립트로 해결하고 다수의 서버에 명령을 대신 실행 DevOps 엔지니어가 꼭 알아야하는 기술 중 하나 하지만 배우기 어렵고, 소프트웨어 충돌 문제에는 크게 도움이 되지 않는다. ex. Chef, Puppet, Ansible, Terraform... 2. Virtual Machine 소프트웨어 충돌 해결을 위해 한 서버에 다수의 VM을 올려 서비스..
간단한 Docker 이미지 만들어서 Docker hub에 넣고 실습해보기 - TIL230612
📚 KDT WEEK 11 DAY 1 TIL Docker 실습 리눅스 우분투 MySQL Airflow 측면에서 바라보는 Docker 더보기 Airflow 운영상의 어려움 DAG의 수가 많아지면 데이터 품질이나 데이터 리니지 이슈 등 외에도 다른도 발생하는데, DAG 라이브러리 충돌, Worker부족, Worker 서버들의 관리와 활용도 이슈 등이 발생할 수 있다. 이런 이슈들을 해결하기 위해 사용하는 방법으로, Docker와 K8s를 많이 사용한다. 태스크나 DAG 코드를 Docker Image로 만들어서 Docker Container 형태로 실행 라이브러리와 모듈 충돌 방지 개발 환경과 프로덕션 환경을 동일하게 유지 가능 Airflow Worker를 K8s(공용 서버 클러스터)에서 필요한 대로 동적으로 ..