| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | ||
| 6 | 7 | 8 | 9 | 10 | 11 | 12 |
| 13 | 14 | 15 | 16 | 17 | 18 | 19 |
| 20 | 21 | 22 | 23 | 24 | 25 | 26 |
| 27 | 28 | 29 | 30 |
- spark executor memory
- disk spill
- backfill
- CI/CD
- Salting
- KDT_TIL
- Kubernetes
- Dag
- 빅데이터
- mysql
- SQL
- Spark 실습
- k8s
- etl
- aws
- 데이터 파이프라인
- Spark Caching
- DataFrame Hint
- Kafka
- off heap memory
- Spark SQL
- redshift
- colab
- Spark Partitioning
- AQE
- Airflow
- Spark
- topic
- Docker
- Speculative Execution
- Today
- Total
목록CI/CD (2)
JUST DO IT!
Python unittest를 Github Actions 기능으로 CI/CD 구현하기(with Docker) - TIL230613
📚 KDT WEEK 11 DAY 2 TIL CI/CD Git Github Actions Actions 기능을 사용한 Python CI/CD 구현 🟥 CI/CD 소프트웨어 빌드 : 소프트웨어를 최종적으로 출시하기 위한 형태로 만드는 것 Continuous Intergration(CI) : 개발자가 코드를 고칠 때마다 테스트를 돌려봄으로써 안정성을 증대시킴 Continuous Delivery(CD) : 성공한 빌드의 프로덕션 릴리스 (자동화) 코드의 변경 ➡️ Code Commit ➡️ CI(테스트 수행) ➡️ CD(소프트웨어 배포)가 반복되는 구조 🟦 Git 분산환경을 지원하는 소스 버전 컨트롤 시스템 SVN/CVS(다른 소프트웨어 버전 관리 시스템)에 비해 현저하게 빠르지만 사용법은 훨씬 더 복잡하다. ..
AWS IAM, S3, CI/CD, 종합실습 - TIL230517
📚 KDT WEEK 7 DAY 3 TIL IAM S3 CI/CD 🟥 IAM Amazon Identity and Access Management AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹 서비스 리소스를 사용할 수 있는 로그인 인증 및 권한 부여 대상을 제어할 수 있다. ex) 루트 사용자 로그인 ※ 일상적인 작업에는 루트 사용자가 아니라 별도의 사용자 계정을 사용하는 것을 권장함 리소스 별, 권한(읽기/쓰기) 별로 지정도 가능 많은 AWS 서비스와의 통합가능 일부를 제외하고 기본적으로 무료 사용 역할, 정책, 사용자 등에 대한 정의 IAM 정책 테스크를 수행하기 위해 방법과 관계없이 작업에 대한 권한을 정의하는 것 사용하는 곳에 알맞는 역할과 정책을 추가하거나 지정해줘야 한다. ex) 권..