JUST DO IT!

📚 KDT WEEK 10 DAY 4 TIL MySQL ➡️ Redshift Airflow ETL 구현 사전작업 ETL 코드 Backfill 구동 🟥 MySQL(OLTP)에서 Redshift(OLAP)로 Airflow ETL 구현해보기 프로덕션 데이터베이스(MySQL)에서 데이터 웨어하우스(Redshift)로 데이터를 전송하는 ETL을 Airflow로 구현해보자. 🛠️ 사전 작업 1. 권한 설정 먼저, 서로간의 권한 설정이 사전에 필요하다. Airflow DAG에서 S3 접근 권한 : AWS IAM User(S3 버킷 읽기, 쓰기 권한) 생성해서 access key, secret key 받기 https://sunhokimdev.tistory.com/34 > Snowflake 실습 > Snowflake에서 ..

📚 KDT WEEK 8 DAY 3 TIL Redshift 권한과 보안 Redshift 백업과 복구 Redshift 관련 서비스 Redshift Spectrum + 실습 Athena Redshift ML (SageMaker) + 실습 Redshift 중지 및 제거 및 최적화 🟥 Redshift 권한과 보안 Redshift 사용자별 테이블 권한 설정 사용자별 테이블별 따로따로 권한을 지정하지는 않고, IAM 그룹과 역할을 활용한다. 최근엔 RBAC(Role Based Access Control)가 일반적이다. 여러 역할의 속한 사용자는 각 역할의 권한을 모두 가진다. GROUP 키워드를 ROLE로 바꾸어도 동일하게 동작한다. 다음은 Colab에서 간단하게 실습한 결과이다. CREATE GROUP 그룹명 으로..

📚 KDT WEEK 8 DAY 2 TIL Redshift 알아보기 Redshift Severless 생성 실습 Redshift COPY 실습 🟥 Redshift AWS에서 지원하는 데이터 웨어하우스 서비스 최소 160GB ~ 2PB까지 처리 가능 응답속도가 빠르지 않아 프로덕션 데이터베이스로는 부적합 레코드 별로 저장하는 것이 아니라 컬럼별로 저장함 컬럼별 압축이 가능하며 컬럼을 추가하거나 삭제하는 것이 빠르다 벌크 업데이트(S3에서 레코드파일을 일괄복사 가능) 지원 - COPY SQL 고정 용량/비용 엔진, 가변 비용 옵션(Redshift Serverless)도 지원 데이터 공유 기능(Datashare)으로 다른 AWS 계정과 데이터 공유 가능 데이터 웨어하우스이므로 Primary Key Uniquen..

📚 KDT WEEK 6 DAY 2 TIL Redshift 생성 웹 서비스에서 사용자와 세션 정보 데이터 품질 체크 🟥 Redshift Cluster 만들어보기 https://aws.amazon.com/ko/ 클라우드 서비스 | 클라우드 컴퓨팅 솔루션| Amazon Web Services aws.amazon.com Redshift는 아마존에서 제공하는 데이터 웨어하우스 서비스이다. 위 aws 사이트에서 계정을 생성하고, redshift를 검색하여 해당 서비스를 이용할 수 있다. aws 계정 생성에는 최초 카드 등록이 필요했고, 100원을 이체했다가 다시 돌려준다. 내가 만들 Redshift 클러스터는 무료 버전이 존재하지만 시험삼아서 유료 버전을 만들어 보기로 한다. 로그인후, aws redshift 화면..

📚 KDT WEEK 6 DAY 1 TIL 관계형 데이터베이스 SQL 클라우드 Redshift 🟥 관계형 데이터베이스 구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지 ex) 엑셀 스프레드시트 형태의 테이블로 데이터를 열과 행으로 저장 데이터베이스(혹은 스키마)라는 폴더 밑으로 테이블이 존재하는 2단계로 구성되어 있다. 대표적인 관계형 데이터베이스 1. 프로덕션 데이터베이스 - OLTP(Online Transaction Processiong) MySQL, PostgreSQL, Oracle... 빠른 속도에 중점을 두는 데이터베이스 웹이나 모바일 앱 등에 바로 연동이 되어 해당 서비스에 필요한 정보를 저장하거나 읽어오는데 사용한다. Star schema 데이터를 논리적 단위로 나누어 저장하고 필요..