간단한 Docker 이미지 만들어서 Docker hub에 넣고 실습해보기 - TIL230612

📚 KDT WEEK 11 DAY 1 TIL

• Docker 실습
  • 리눅스
  • 우분투
  • MySQL

---

Airflow 측면에서 바라보는 Docker

Airflow 운영상의 어려움

 

DAG의 수가 많아지면 데이터 품질이나 데이터 리니지 이슈 등 외에도 다른도 발생하는데,

DAG 라이브러리 충돌, Worker부족, Worker 서버들의 관리와 활용도 이슈 등이 발생할 수 있다.

 

이런 이슈들을 해결하기 위해 사용하는 방법으로, Docker와 K8s를 많이 사용한다.

 

• 태스크나 DAG 코드를 Docker Image로 만들어서 Docker Container 형태로 실행
  • 라이브러리와 모듈 충돌 방지
  • 개발 환경과 프로덕션 환경을 동일하게 유지 가능
• Airflow Worker를 K8s(공용 서버 클러스터)에서 필요한 대로 동적으로 할당하여 사용
  • 전용 서버를 Airflow에서 할당하지 않고 Container Orchestration 서비스를 통해 할당해서 사용하고 리턴한다.

일반적으로 Docker와 K8s에 해당하는 Airflow Operator나 Airflow Executor를 사용한다.

(Docker Operator, KubernetesPodOperator, KubernetesExecutor, CeleryKubernetesExecutor, LocalKubernetesExecutor)

 

Airflow Executor

Task들을 관리하고 실행하는 역할을 수행 ( 병렬 or 일렬 ?)

 

종류

• Sequential Executor : 디폴트로 설치되며, Sqlite와 같은 싱글스레드 DB에서만 사용 가능
• Local Executor : 다수의 스레드를 지원하는 PostgreSQL, MySQL 에서 사용 가능한 병렬가능, Airflow 마스터 노드안에서 task 실행
• Celery Executor : 실행될 task들을 Celery 큐에 넣어 Worker 노드로 분산하여 실행
• Kubernetes Executor : K8s 클러스터를 사용하여 task들을 독립된 환경(빌린 환경)에서 사용 > Task를 Docker Image로 구현필요
  • Kubernetes Executor는 CeleryKubernetesExecutor와 LocalKubernetesExecutor가 존재하여 혼합하여 사용도 가능하다.

---

 

Docker에 대해서 전에 TIL로 글을 적은 적이 있다.

Docker는 간단히 말하면 소프트웨어를 일관되게 빌드하고 실행하고 배포하기 위한 패키지 플랫폼이라고 생각하면 된다.

Docker 설명 링크 : https://sunhokimdev.tistory.com/30

Docker와 Docker File - TIL230519

Docker를 사용하기 전에, 가장 많이 비교되는 Virtual Machine과 차이점을 알아보자.

Virtual Machine VS Docker

둘 다 소프트웨어를 실행하기 위한 독립적이고 분리된 공간을 제공한다.

 

VM

• 다수의 소프트웨어를 각 VM단에서 독립적으로 실행가능
• 각 VM은 자신만의 OS를 필요로 하므로 유료 OS에는 비용이 들고, 자원도 많이 사용함.

 

Docker

 

• 다수의 소프투에어를 각 Container단에서 독립적으로 실행하며, 다수의 Container를 실행 가능하다.
• Host OS를 사용하므로 별도 비용도 없고, 빠르게 실행됨
• Host OS를 사용하므로 Cross-platform Compatibility를 항상 지원 x
• 많은 수의 Container를 관리하는 것은 쉽지 않다. > K8s 사용

 

VM vs Docker ,출처 : k21academy

 

 

🟥 Docker 실습

 

1. Docker File 생성 + 코드 파일 생성

 

먼저 사용할 도커 이미지 이름으로 폴더를 하나 생성하고, Docker File을 생성한다.

node를 기본 소프트웨어로 사용하고, 알파인이라는 경량형 리눅스를 사용한다.

그리고 app.js를 실행하는 간단한 도커파일이다.

 

Dockerfile 파일에는 확장자가 없어야한다.

 

그리고 간단히 문장을 하나 출력할 app.js도 추가해주었다.

console.log("Hello Docker!");

 

2. Docker Image 생성

 

터미널에 생성했던 폴더로 이동하고, 다음 명령어를 입력한다.

docker build --platform linux/amd64 -t hello-world-docker .

현재 폴더에 hello-world-docker 이름의 도커를 생성하는 명령어이다.

--platform linux/amd64 옵션을 통해 리눅스 amd64를 베이스로하는 도커 이미지를 생성해야한다.

이 명령어가 없으면 맥의 경우 ARM 기반 아키텍처로 만들어져 일반 리눅스에서는 돌아가지 않는다.

 

-t는 태그를 지정하는 옵션으로, 이미지 이름 뒤에 콜론을 찍고 버전이름을 기입하지만 기입하지 않으면 자동으로 latest 버전으로 등록된다.

 

docker image가 정상적으로 빌드되는 모습

 

빌드가 완료되면 생성했던 이미지 이름으로 도커를 실행시켜보자.

처음 도커를 실행할 때는 run 커맨드를 사용한다.

docker run hello-world-docker

 

그리고 다음의 명령어로 생성된 도커 이미지를 확인할 수 있다.

docker image ls

 

도커를 실행하고, ls로 확인해보니 생성했던 도커를 확인할 수 있었다.

 

3. Docker hub에 Repo 만들기

도커 허브에 내가 만든 도커 이미지를 공유할 것이다.

아래 사이트에서 계정이 없다면 가입해서 사용해야 한다. 가입 과정이 까다롭지는 않았다.

Docker hub : https://hub.docker.com/

Docker Hub Container Image Library | App Containerization

 

 

로그인이 완료되면 상단 탭에서 Repositories를 클릭하면 다음 화면을 볼 수 있다.

거기서 우측 상단 Create repository 버튼을 클릭해서 Repo를 하나 생성할 수 있다.

빨간 네모박스의 Create Repository를 클릭하자

그리고 내 이름의 네임스페이스와 Repo 이름을 등록하자.

나는 폴더이름과 똑같이 지어주었다.

 

네임스페이스와 Repo 이름을 정하고, Create로 등록한다.

참고로 도커는 Private를 무료로 사용할 수 있는 양이 정해져있다고 한다.

 

4. Docker hub에 내 Docker Image 넣기

등록하려는 도커 이미지의 태그(별칭)을 아까 만들었던 Repo이름으로 만들어주어야 한다.

 

docker tag 현재이미지이름 DockerRepo이름

 

DockerRepo이름의 경우 네임스페이스/Repository이름 의 형태로 넣어주면된다.

나의 경우 sunhokimdev/hello-world-docker 가 된다.

그리고 docker image ls로 생성된 이미지 목록을 확인해보면 tag로 만든 별칭의 이미지까지 확인할 수 있다.

 

IMAGE ID가 같은 도커 이미지가 두 개 존재한다.

 

별칭만 다르지 똑같은 도커 이미지라는 것을 잊으면 안된다.

 

그리고 터미널에서 Docker hub에 로그인한 계정을 등록해야한다.

docker login --username=도커허브계정이름

 

해당 명령어를 입력하면 비밀번호를 입력하라는 문구가 나오니, 도커 허브 비밀번호로 로그인하면 된다.

 

정상적으로 로그인된 모습

이제 도커 이미지를 도커 허브에 넣으면 된다!

 

docker push DockerRepo이름

 

DockerRepo이름은 아까 tag 명령어로 만든 도커 이미지 별칭과 같으므로 그 이미지가 들어간다.

 

내 Docker 이미지를 도커 허브에 넣었다!

 

이제 도커 허브 웹에서 확인해보면.. 정상적으로 들어간 모습을 볼 수 있다.

 

하단을 보면 리눅스가 들어간걸 볼 수 있다.

 

5. 내 Docker Image가 정상 동작하는지 확인

 

다음으로 가상 리눅스 환경에서 내 도커 이미지가 정상적으로 동작하는지 확인해볼 수 있다.

 

도커가 설치된 리눅스 환경을 4시간동안 무료로 사용할 수 있는 사이트가 있다.

내 도커 허브 계정과 연결하면 바로 사용할 수 있다.

https://labs.play-with-docker.com/

Play with Docker

 

로그인하고 Start 버튼을 클릭해서 진입하면, 왼쪽 탭에서 ADD NEW INSTANCE 버튼으로 새로운 인스턴스를 만들자.

그러면 아래 이미지처럼 검은 터미널이 나온다.

 

새로운 인스턴스를 사용하고 있다.

 

터미널에서 내 도커 이미지를 가져와보자.

 

docker pull DockerRepo이름

 

생성했던 도커 Repo이름으로 가져오면 된다.

그리고 docker run DockerRepo이름 으로 동작을 확인해보면..

 

Hello Docker! 가 보인다.

 

정상적으로 구동된 것을 확인했다!

 

---

 

도커에서 우분투 사용해보기

 

우분투를 도커에 설치해보고 사용해보는 실습을 해보았다.

우분투는 공식 이미지라 따로 네임스페이스나 버전이름이 없어서 그냥 ubuntu 하면 알아듣는다.

 

docker run ubuntu # 우분투 설치
docker ps - a # 도커 확인 명령어, -a 는 죽은 도커까지 확인하는 옵션이다.
docker run -it ubuntu # 쉘스크립트를 사용해서 우분투 도커 컨테이너 안으로 진입

apt update # apt를 먼저 업데이트해야 nano가 설치된다.
apt install nano # nano 설치

 

 

nano가 설치되고, nano 를 입력해서 잘 작동하는지 확인해본다.

 

nano가 실행된 모습

 

정상적으로 nano가 동작하는 걸 확인할 수 있다.

nano는 apt remove nano로 삭제 가능하다.

 

---

 

도커에서 MySQL 사용해보기

다음 명령어를 통해 MySQL 8.0을 다운로드받고, 실행할 수 있다.

 

docker pull mysql/mysql-server:8.0

docker run --name=mysql_container mysql/mysql-server:8.0

 

--name 옵션을 주면 Container ID를 대신할 이름을 정해줄 수 있다.

뒤에서 logs와 exec 명령어를 사용할 때 귀찮게 Container ID 확인없이 새로 만든 이름으로 불러올 수 있다.

 

MySQL을 직접 사용하기 전에 MySQL의 비밀번호가 필요한데, 이게 로그쪽에 저장되어 있어서 직접 확인해야한다.

 

docker logs mysql_container 2>&1 | grep GENERATED

 

윈도우의 경우 grep이 아닌 findstr 을 대신 넣어주면 알아서 찾아온다.

 

PASSWORD: 뒤쪽의 문자들을 복사하자

 

비밀번호를 복사해두면 아래에서 로그인할 때 사용하게 된다.

 

-uroot 옵션으로 루트 유저로 mysql 쉘에 접속한다.

-p는 비밀번호를 적겠다는 옵션이다. 비밀번호를 적으라고 나오면 복사해두었던 문장을 넣어 로그인하면 된다.

docker exec -it mysql_container mysql -uroot -p

 

mysql에 접속한 모습

 

mysql이 정상적으로 동작한다.

 

다음에는 이 도커안의 MySQL을 이용해서 작업해보는 실습을 해본다.