Docker Container 관리에 중요한 K8s 알아보기 - TIL230616

📚 KDT WEEK 11 DAY 5 TIL

• Docker를 사용하는 이유 - 서버 관리의 어려움
• Docker Container를 관리하는 방법 - Container Orchestration
• K8s

---

🟥 서버 관리의 어려움

서버의 수가 많아지고 다양한 문제가 발생했을 때 문제를 해결하는 방법

 

1. Infrastructure As Code

대화형 명령이 아닌 자동화된 스크립트로 해결하고 다수의 서버에 명령을 대신 실행

• DevOps 엔지니어가 꼭 알아야하는 기술 중 하나
• 하지만 배우기 어렵고, 소프트웨어 충돌 문제에는 크게 도움이 되지 않는다.

ex. Chef, Puppet, Ansible, Terraform...

 

2. Virtual Machine

• 소프트웨어 충돌 해결을 위해 한 서버에 다수의 VM을 올려 서비스별로 할당한다.
• 리소스 소비가 크고 느리며, 특정 VM 벤더 혹은 클라우드에게 종속되어 버린다. (Lock-in)

 

3. Docker

• 모든 소프트웨어를 Docker Image로 만들면 어디서간 동작한다.
• VM에 비해 리소스 낭비도 적고 실행시간도 빠르다.
• 오픈소스이기 때문에 클라우드나 특정업체 Lock-in 이슈가 없다.

 

Docker는 서비스 배포의 기본이 되어 Github의 대부분 빌드 프로세스는 Docker image를 만들어 Registry에 등록한다.

 

하지만 Docker Container의 수가 늘어나면 관리가 어려운게 단점이다.

> 서버에 적당한 분배, 모니터링, 특정 서비스의 컨테이너 수 탄력적 운영 등..

 

---

 

🟦 Container Orchestration 

도커 이미지의 배포, 스케일링, 네트워크 생성, 인사이트 뽑기 등 Container을 관리하기 위한 서비스

 

1. 소프트웨어 배포

• 서비스 이미지를 Container로 배포
• 이상이 감지되면 이전 안정 버전으로 롤백한다.
• Container의 수가 많을수록 큰 이슈가 됨

 

2. 스케일링

• 특정 서비스의 Container 수를 쉽게 늘리고 줄인다.
• 서버의 utilization을 고려한다. (각 서버의 가동률이 비슷하도록 컨테이너 분배)

 

3. 네트워크

• 서비스가 다수의 컨테이너로 나눠지면서 이들을 대표하는 Load Balancer를 만들어주어야함
• 서비스들간에 서로를 쉽게 찾을 수 있어야함 > 서비스 디스커버리

 

4. 인사이트

• 컨테이너 문제시 해결 > 어떤 서버의 컨테이너가 다운되면 다른 서버에 재가동
• 전체 서비스의 분석 > 시각화 및 문제 분석, Logging 등

 

ex) K8s, Mesos, Matathon, DEIS, Rancher...

 

---

🟩 K8s (Kubernetes)

컨테이너 기반 서비스 배포/스케일/관리 자동화를 해주는 오픈소스 프레임웍

가장 많이 사용되는 컨테이너 관리(Orchestration) 시스템

 

K8s 아키텍처

 

Kubernetes 아키텍처

 

Pod

K8s사용자가 사용하는 가장 작은 빌딩 블록

K8s 사용시 컨테이너를 바로 다루는게 아니라 Pod를 사용함

 

• 1 Pod = 보통은 하나의 container로 구성
• 하나보다 많은 경우에는 helper container가 보통 같이 사용됨
• 같은 Pod 안에서는 디스크와 네트워크가 공유
• Fail-over를 위해 복제본을 지정하는 것이 일반적이다.
• Pod는 네트워크 주소를 갖는 self-container server이다.

 

ex) kubectl run nginx --image nginx

nginx 이미지 기반으로 컨테이너를 생성하고, nginx 이름의 Pod로 둘러싸는 명령어.

 

아직 작성중..!

 

읽어보면 좋은 Docker와 Airflow에 대한 사례

 

쏘카 Airflow https://tech.socarcorp.kr/data/2021/06/01/data-engineering-with-airflow.html

쏘카 데이터 그룹 - Airflow와 함께한 데이터 환경 구축기(feat. Airflow on Kubernetes)

 

버킷플레이스 Airflow https://www.bucketplace.com/post/2021-04-13-%EB%B2%84%ED%82%B7%ED%94%8C%EB%A0%88%EC%9D%B4%EC%8A%A4-airflow-%EB%8F%84%EC%9E%85%EA%B8%B0/

버킷플레이스 Airflow 도입기 - 오늘의집 블로그