JUST DO IT!

📚 KDT WEEK 10 DAY 4 TIL MySQL ➡️ Redshift Airflow ETL 구현 사전작업 ETL 코드 Backfill 구동 🟥 MySQL(OLTP)에서 Redshift(OLAP)로 Airflow ETL 구현해보기 프로덕션 데이터베이스(MySQL)에서 데이터 웨어하우스(Redshift)로 데이터를 전송하는 ETL을 Airflow로 구현해보자. 🛠️ 사전 작업 1. 권한 설정 먼저, 서로간의 권한 설정이 사전에 필요하다. Airflow DAG에서 S3 접근 권한 : AWS IAM User(S3 버킷 읽기, 쓰기 권한) 생성해서 access key, secret key 받기 https://sunhokimdev.tistory.com/34 > Snowflake 실습 > Snowflake에서 ..

📚 KDT WEEK 7 DAY 4 TIL AWS CLI 🟥 AWS CLI AWS 서비스를 터미널에서도 이용할 수 있는 서비스이다. pip install awscli 명령어를 입력하여 AWS CLI를 설치한다. AWS CLI를 사용하기 위해서는 user 정보가 필요하므로 IAM를 써서 테스트 사용자를 하나 만들었다. 액세스 및 비밀 엑세스 키가 CLI 유저 설정에 필요한 내용이다. 이제 터미널에서 aws configure 명령어를 입력하고 받았던 키를 입력해준다. 여기서 S3를 읽어오려면 aws s3 ls 명령어를 입력하면 되지만, 기본적으로 사용자는 권한이 없으면 아무것도 할 수 없으므로 S3에 대한 권한을 추가해주어야 한다. ReadOnlyAccess 뿐만아니라 FullAccess 권한을 준다면 다음 ..

📚 KDT WEEK 7 DAY 3 TIL IAM S3 CI/CD 🟥 IAM Amazon Identity and Access Management AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹 서비스 리소스를 사용할 수 있는 로그인 인증 및 권한 부여 대상을 제어할 수 있다. ex) 루트 사용자 로그인 ※ 일상적인 작업에는 루트 사용자가 아니라 별도의 사용자 계정을 사용하는 것을 권장함 리소스 별, 권한(읽기/쓰기) 별로 지정도 가능 많은 AWS 서비스와의 통합가능 일부를 제외하고 기본적으로 무료 사용 역할, 정책, 사용자 등에 대한 정의 IAM 정책 테스크를 수행하기 위해 방법과 관계없이 작업에 대한 권한을 정의하는 것 사용하는 곳에 알맞는 역할과 정책을 추가하거나 지정해줘야 한다. ex) 권..

📚 KDT WEEK 6 DAY 1 TIL 관계형 데이터베이스 SQL 클라우드 Redshift 🟥 관계형 데이터베이스 구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지 ex) 엑셀 스프레드시트 형태의 테이블로 데이터를 열과 행으로 저장 데이터베이스(혹은 스키마)라는 폴더 밑으로 테이블이 존재하는 2단계로 구성되어 있다. 대표적인 관계형 데이터베이스 1. 프로덕션 데이터베이스 - OLTP(Online Transaction Processiong) MySQL, PostgreSQL, Oracle... 빠른 속도에 중점을 두는 데이터베이스 웹이나 모바일 앱 등에 바로 연동이 되어 해당 서비스에 필요한 정보를 저장하거나 읽어오는데 사용한다. Star schema 데이터를 논리적 단위로 나누어 저장하고 필요..