Redshift cluster 생성 및 SQL 데이터 품질 체크 (TIL 230509)

TIL

sunhokimDev 2023. 5. 10. 12:00

📚 KDT WEEK 6 DAY 2 TIL

클라우드 서비스 | 클라우드 컴퓨팅 솔루션| Amazon Web Services

aws.amazon.com

Redshift는 아마존에서 제공하는 데이터 웨어하우스 서비스이다.

위 aws 사이트에서 계정을 생성하고, redshift를 검색하여 해당 서비스를 이용할 수 있다.

aws 계정 생성에는 최초 카드 등록이 필요했고, 100원을 이체했다가 다시 돌려준다.

내가 만들 Redshift 클러스터는 무료 버전이 존재하지만 시험삼아서 유료 버전을 만들어 보기로 한다.

로그인후, aws redshift 화면에 접속하고 밑으로 스크롤해서

Create cluster 버튼을 찾아 클릭하여 클러스터를 생성할 수 있다.

무료 버전(Serverless)을 사용하지 않았다면 위쪽에 사용해보라고 메시지가 나타난다.

클러스터 식별자(이름)을 만들고, 크기를 직접 선택한다.

샘플 데이터와 데이터베이스 구성은 하고 싶은대로 설정하면 된다.

클러스터 권한은 redshift에 따로 IAM 역할을 만들어서 설정할 수 있다.

생성하고 싶다면 cluster를 생성하기 전에 redshift IAM을 따로 먼저 만들어두고 여기서 추가해주어야 한다.

마지막으로 추가 구성에서는 살펴보고 필요한 부분을 알맞게 조율하면 된다.

강의에서는 Google Colab에서 실습을 진행하므로 네트워크 보안에서 퍼블릭 액세스를 켜라고 했지만..

나는 이걸 체크하려고 추가 구성의 기본값을 빼버리면 자꾸 VPC 서브넷이 없다고 생성을 거절당했다.

이 부분은 생성 후에도 바꿀 수 있으니 일단 추가 구성을 기본값으로 두고 생성했다가

클러스터가 잘 생성되면, 그때 속성에서 바꿔줘도 문제 없었다!

클러스터는 생성되는데에 시간이 조금 소요되는 편이었고,

생성 후에는 클러스터가 운용되면서 금액이 청구될 수 있으므로 사용하지 않을 때는 중단시켜두거나 필요없으면 삭제하자!

웹 서비스을 운영하면서 사용자 접속 정보를 받게된다면 세션 정보를 가져오게 될것이다.

이 세션 정보의 내용과 분석 방법을 잠깐 알아보자.

사용자 ID : 웹 서비스에서 등록된 사용자마자 부여하는 유일한 ID
세션 ID : 세션마다 부여되는 ID (한 사용자가 여러개를 가질 수 있다)
- 사용자의 방문을 논리적인 단위로 나눈 것
- 외부 링크를 타고 오거나, 방문 후 30분간 interaction이 없다가 행동이 보이면 새로 생성
- 보통의 세션의 경우 세션을 만들어낸 경유지를 채널이란 이름으로 기록한다.(마케팅 분석 가능)
- 생성 시간도 기록된다.

이 세션 정보를 바탕으로 다양한 마케팅과 사용자 트래픽 분석이 가능하다.

ex) 일주월별 Active User(방문자) 차트 작성( DAU, WAU, MAU...)

ex) Marketing Channel Atrribution 분석 - 어느 채널에 광고를 하는 것이 가장 효과적인가? 등

깨끗한 데이터란 존재하지 않는다. 항상 데이터를 믿을 수 있는지 의심하기

실제 레코드를 몇 개 살펴보는 것이 필요

밑의 체크를 코딩의 unit test 형태로 만들어 체크

중복된 레코드 체크

최근 데이터의 존재여부 체크

PK Uniqueness 체크

값이 비어있는 컬럼 체크

너무나 많은 테이블들이 존재하게 되는 시점에는..

중요 테이블이 무엇이고 그것들의 메타 정보를 잘 관리하는 것이 중요해짐

Data Discovery에 문제 생김 --> 생각해볼 것들이 생김

관련된 서비스들이 있음 (DataHub, Amundsen 등)