Python unittest를 Github Actions 기능으로 CI/CD 구현하기(with Docker) - TIL230613

📚 KDT WEEK 11 DAY 2 TIL

• CI/CD
• Git
• Github Actions
• Actions 기능을 사용한 Python CI/CD 구현

---

🟥 CI/CD

소프트웨어 빌드 : 소프트웨어를 최종적으로 출시하기 위한 형태로 만드는 것

Continuous Intergration(CI) : 개발자가 코드를 고칠 때마다 테스트를 돌려봄으로써 안정성을 증대시킴

Continuous Delivery(CD) : 성공한 빌드의 프로덕션 릴리스 (자동화)

 

코드의 변경 ➡️ Code Commit ➡️ CI(테스트 수행) ➡️ CD(소프트웨어 배포)가 반복되는 구조

 

🟦 Git

분산환경을 지원하는 소스 버전 컨트롤 시스템

SVN/CVS(다른 소프트웨어 버전 관리 시스템)에 비해 현저하게 빠르지만 사용법은 훨씬 더 복잡하다.

 

• 다수의 개발자의 공동 개발
• 코드 리뷰 및 백업 가능

 

🌐 Github

http://github.com 

GitHub: Let’s build from here

Git repo 호스팅/클라우드 서비스

• Private repo 수에 따라 가격대가 결정되며, public만 사용한다면 무료이다.
• Copilot(코드 개발 생산성 증대), Workflows(CI/CD), Issues(문서화) 등 다양한 툴을 제공한다.

 

🆎 Git 관련 용어

 

• Repo : Repository의 준말로 Git으로 관리되는 소프트웨어 프로젝트를 지칭
• Master/Main : 한 Repo에서 기본이 되는 메인 코드를 지칭, 요즘은 거의 main으로 쓴다.
• Branch : Repo에서 새로운 기능 개발을 위해 메인 코드로부터 만든 새로운 코드 작업본을 지칭한다.
• Clone : 다른 계정의 repo를 새로운 local repository로 만드는 것
• Commit : 내가 만든 코드 변경을 Branch의 Local Repository에 반영하는 것
• Pull : 연결된 Repo로부터 마지막 Pull 이후 변경된 것을 다시 가져오는 작업, 서버의 Repo와 동일하게 씽크한다.
• Push : 작업 중인 로컬 복사본에서 서버로 변경사항들을 내보내는 것
• Merge : Pull이나 Push했을 경우 두 Branch간의 충돌(Conflict)을 해결하는 과정, 병합되는 과정.

 

Github Branch Flow

 

Git에서는 두 Branch를 Merge하는 과정에서 새로운 코드가 삽입될 것이다.

이 새로운 코드를 넣고나서도 본래의 기능과 새로운 기능이 잘 작동하는 지 테스트해보는 것이 매우 중요할 것이고,

이러한 과정(코드를 테스트하고, 배포하는 과정)을 위에서 설명했던 CI/CD라고 한다.

 

따라서 Github에서는 코드가 특정 브랜치에 추가되는 순간 CI/CD를 트리거할 수 있도록 Actions라는 기능을 제공한다!

 

🟩 Github Actions

Github위에서 CI/CD를 구현하기 위한 서비스

Actions 기능은 Repo가 Public이면 무료지만, Private은 특정 기준에 따라 유료로 제공되고 있다.

 

🌊 Workflow

트리거 이벤트가 발생하면 시작되는 일련의 동작들을 지칭

트리거 이벤트는 코드 커밋, Pull Request, 다른 Workflow의 실행 등으로 다양한 이벤트를 설정할 수 있다.

 

Workfow를 위한 명령어(환경설정이나 스크립트 실행 등)들은 YAML 파일로 저장한다.

YAML은 JSON과 형태가 비슷한 환경설정을 담아둔 format이다.

Workflow는 하나의 repo에 대해 여러 개의 Workflow로 존재할 수 있다.

 

 

🟨 Actions 기능을 사용한 Python CI/CD 구현

Python의 unittest 모듈을 이용한 test를 Github Actions 기능을 이용하여 CI/CD를 구현해보는 실습을 진행한다.

⌨️ 메인 코드 소개

먼저, CI/CD가 적용될 메인 코드를 간략하게 설명하겠다.

 

Python으로 hangman 게임을 구현하고, flask를 이용해 간단한 웹 UI를 제공하는 코드이다.

 

• app.py : flask의 메인 함수가 존재, 커맨드라인으로 받은 포트에 바인드하고 요청이 들어오기를 기다린다.
• requirements.txt : flask 모듈들을 설치하는데 활용, flask와 관련된 4개의 모듈들 포함
• test.py : app.py에 있는 코드의 유닛 테스트 로직이 들어가있다. CI/CD 구성시 실행이 가능하도록 구성할 예정

Python 테스트 모듈로는 pytest가 아닌 unittest를 사용하였다.

이 부분때문에 아래에서 실습하면서 변경해야할 부분이 조금 있다.

추가로, Repo에는 dockerization을 위한 Dockerfile도 포함되어 있다. 이것도 CI/CD에서 추가로 구현해볼 것이다.

 

1. Github Actions 기능으로 CI 구현하기

 

CI/CD를 구현할 repo로 들어가서, 상단 탭의 Actions(아래 이미지의 빨간 박스)를 클릭한다.

그리고 Python application의 Configure 버튼을 클릭하자.

만약 Python application이 보이지 않는다면 검색으로 찾으면 나온다.

 

빨간 박스를 클릭하면 된다.

 

그러면, 아래 이미지처럼 python-app.yml 을 생성하는 화면으로 넘어오게 된다.

 

python-app.yml은 해당 repo에 .github/workflows/ 폴더 밑으로 추가된다.

 

파란 박스를 보면, 어떤 특정 브런치의 push나 pull_request (특정 이벤트)에 반응할 것인지 정할 수 있다.

 

on: 밑으로 트리거 이벤트를 지정할 수 있고, push: , pull_request: 는 특정 이벤트를 가리킨다.

만약 모든 브랜치에 적용하고 싶다면 ["main", "dev"] 처럼 작성하면 된다.

 

그리고 밑으로 jobs: 는 실제 CI 프로세스가 스텝(name)별로 기술된다.

이 부분에서 pytest가 아닌 unittest 모듈을 사용했으므로 조금의 변경이 필요하다.

 

 

수정 전

 

참고로 flake8은 코드 스타일과 문법을 체크하는 모듈이라고 생각하면 된다.

 

빨간 밑줄 부분의 pytest를 지운다.

 

첫 번째 파란줄의 pytest --> unittest 로 바꾸고,

두 번째 파란줄의 pytest --> python -m unittest discover -p 'test*.py' 로 변경해주면 된다.

두 번째 파란줄의 경우 현재 디렉토리에서 서브 디렉토리까지 test로 시작하는 모든 python 파일을 unittest 하라는 명령어이다.

 

수정 후에는 이러한 형태가 나와야한다.

 

수정 후

 

이제 CI가 제대로 구동되는지 확인해보자.

나는 간단하게 README 파일을 고쳐서 main 브랜치에 push 해보았다.

그리고 Repo로 돌아가면, 아래 이미지 빨간 박스 안에 now를 확인할 수 있다.

 

now를 눌러보면, 만들었던 Python application이 구동되고 있는 걸 알 수 있다.

 

아직 진행 중인 상태로 보인다.

 

여기서 Details 를 클릭해보면 진행된 Actions를 확인해볼 수 있다.

아래 이미지의 경우 진행이 완료되어 테스트의 결과가 어떻게 나왔는지 확인할 수 있다.

 

flake8과 unittest 모두 아무 문제없이 성공한 모습이다!

 

성공적으로 CI가 진행되었다!

 

2. Github Actions 기능으로 CD 구현하기(with Docker)

코드를 배포하는 과정을 Actions로 구현하는데, Docker hub에 Docker Image를 올리는 형태로 구현하려고 한다.

 

이 과정에는 Docker hub에 대한 조금의 명령어와 Docker hub 계정이 필요하다.

Docker hub에 계정을 만들고 Docker Image를 올리는 과정은 이전글에서 열심히 실습해봤으니 관련 내용은 모두 스킵!

https://sunhokimdev.tistory.com/45

간단한 Docker 이미지 만들어서 Docker hub에 넣고 실습해보기 - TIL230612

 

CD 구현을 위한 Workflow를 추가하기 위해 Actions 탭에 들어간다.

아래 이미지 빨간 박스의 New workflow 버튼을 통해 새로운 Workflow를 생성하면 된다.

 

빨간 박스의 버튼을 클릭한다.

 

아래 이미지처럼 Docker Image를 찾아서 Configure 버튼을 클릭한다.

 

Docker Image를 찾을 수 없다면 검색으로 찾아보자.

 

Configure 버튼을 눌렀다면 아까처럼 yml 파일이 하나 생성되어 편집할 수 있는 화면을 볼 수 있다.

여기서 Docker hub에 로그인하고, docker build 및 push 커맨드를 사용해서 Docker hub에 image를 등록하는 명령어를 써야한다.

 

아래는 편집한 내용이다.

 

편집된 docker-image.yml

 

빨간 박스의 내용에 내 Docker hub의 계정내용이 들어간다.

DOCKER_USER와 DOCKER_PASSWORD를 변수처럼 사용해서 내 계정정보를 기입하게 되는데,

여기서 하드코딩으로 내 계정정보를 직접 입력한다면 보안을 생각했을 때 굉장히 위험한 방법이 될 것이다.

 

그렇기 때문에 Github에서는 이를 암호화해서 가져올 수 있도록 하는 보안 기능을 제공한다.

이 보안 기능에 Dockerhub 계정을 DOCKER_USER 와 DOCKER_PASSWORD 이름으로 저장한 뒤,

위 이미지처럼 ${{secrets.이름}} 형태로 불러올 수 있다.

이 기능은 yml 파일을 편집한 뒤에 구현할 예정이므로 일단 위 이미지처럼 작성해두자.

 

+ DOCKER_USER와 DOCKER_PASSWORD 변수를 사용하는 방법은 파란 밑줄의 코드를 참고해보자

+ 이외의 명령어에 대한 설명은 이전글에서 설명했으니 패스하겠다..

 

작성이 완료되면 커밋해서 Repo에 추가하도록 하자.

그리고 Repo로 돌아와서 아래 이미지의 빨간 박스 순서대로 클릭해서 Docker hub 계정정보를 만들면 된다.

 

New repository secret 버튼으로 생성한다.

 

아까 yml 파일에서 DOCKER_USER 와 DOCKER_PASSWORD 형태로 불러왔으니 그대로 저장해준다.

 

내 Docker hub 계정정보가 저장되었다.

 

그리고 CI/CD가 잘 동작하는지 아무 내용이나 커밋해보고 결과를 확인했다.

 

CD 과정도 문제 없었다.

 

Docker hub에도 잘 이미지가 등록되었다!