Snowflake 알아보고, S3에서 COPY해보기 - TIL230525

📚 KDT WEEK 8 DAY 4 TIL

• Snowflake 알아보기
• Snowflake 간단실습 (use AWS)
• Data Governance

 

---

 

🟥 Snowflake

 

 

• 글로벌 클라우드(AWS, GCP, Azure 등) 위에서 모두 동작
• 데이터 판매를 통한 매출을 가능하게 해주는 Data Sharing/Marketplace 제공
• ETL과 다양한 데이터 통합 기능 제공
• 스토리지와 컴퓨팅 인프라가 별도인 가변 비용 모델
• SQL기반의 빅데이터 저장 및 처리, 분석 가능 + 비구조화 데이터 처리
• CSV, JSON, Avro, Parquet 등 다양한 포맷 지원

 

Snowflake의 주요 객체

 

1. Organizations

한 고객이 사용하는 모든 Snowflake 자원들을 통합하는 최상위 레벨 컨테이너

하나 이상의 Account들로 구성되어 구성된 Account들의 접근권한, 사용트래킹, 비용들을 관리한다

 

2. Accounts

자체 사용자, 데이터, 접근권한을 독립적으로 가진다.

하나이상의 Database들로 구성된다.

 

3. Databases

한 Account에 속해서 데이터들을 다루는 논리적인 컨테이너

다수의 스키마와 그 속에 속한 테이블, 뷰 등으로 구성되어 있다.

PB단위까지 스케일 가능하며 독립적인 컴퓨팅 리소스(Warehouses)를 갖게 된다.

하지만 Database와 Warehouse는 일대일 관계는 아니다.

 

 

Snowflake 비용구조

• 컴퓨팅 비용 : 크레딧
• 스토리지 비용 : TB 당 계산
• 네트워크 비용 : 동일지역 + 동일클라우드 외 데이터 전송시 TB당 계산

 

Snowflake 스탠다드(무료) 시작하기

 

https://signup.snowflake.com/

Snowflake Trial

Snowflake 가입 후 다음에 로그인할 때는 Snowflake가 준 로그인 링크로 접속해야 한다는 걸 잊지말자.

 

 

---

 

🟦 Snowflake 실습

 

Snowflake에서 스키마 생성하기

 

새로운 데이터베이스와 스키마 생성을 해보겠다.

SQL문을 실행하기 위해 워크시트에서 작업해야한다.

 

다음은 Snowflake에 로그인하면 처음 볼 수 있는 화면이다.

 

자주보게될 Snowflake 대시보드

조심해야할 점은, DB 생성과 같은 명령은 ACCOUNTADMIN 유저만 가능하다.

왼쪽 상단의 유저가 ACCOUNTADMIN인지 확인하고 Worksheets를 이용하자.

Worksheets > 오른쪽 상단의 파란 + 버튼을 클릭하여 새로운 워크시트를 생성하면 아래 화면을 확인할 수 있다.

 

새로 생성한 워크시트에 SQL 명령문을 입력한 모습

처음 생성된 워크시트는 생성된 날짜를 기준으로 이름이 지어진다.

이름을 클릭하면 변경할 수 있는데, 나는 Setup-Env로 지어줬다.

 

Snowflake에서 AWS 접근하기

 

Snowflake에서도 Redshift처럼 COPY 커맨드를 통해 AWS S3의 데이터를 테이블에 저장할 수 있다.

하지만 Snowflake에서 AWS에 접근하려면 AWS의 액세스 키가 필요하다.

S3 read만 가능한 사용자를 하나 새로만들어 액세스 키를 생성해보자.

 

AWS IAM > Users 에서 새로운 사용자를 만들어 다음과 같은 권한을 연결한다.

 

S3ReadOnlyAccess 권한 부여

 

S3를 read할 수 있는 사용자를 만들었으니 이제 해당 사용자의 액세스 키를 만들어야 한다.

 

IAM > 사용자 > 해당 사용자 > 보안 자격 증명 > 액세스 키 만들기 > AWS 외부에서 실행되는 애플리케이션 > 생성

 

액세스 키와 비밀 액세스 키가 생성된 모습

 

이제 만들어진 Key를 통해 COPY 커맨드를 사용해보자.

 

Snowflake에서 COPY 커맨드 사용하기

Snowflake에서 COPY 커맨드는 다음과 같이 사용한다.

 

COPY INTO 테이블이름
FROM 's3://sunho-test-bucket/test_data/session_timestamp.csv' -- 접근할 위치
credentials=(AWS_KEY_ID='*****' AWS_SECRET_KEY='*****') -- AWS 액세스 키
FILE_FORMAT = (type='CSV' skip_header=1 FIELD_OPTIONALLY_ENCLOSED_BY='"'); -- CSV의 경우

Redshift와 COPY 명령어가 조금 다른 것을 알 수 있다.

 

아래 이미지는 Snowflake 워크시트에 COPY 명령어를 사용한 모습이다.

 

정상적으로 실행되었다.

 

AWS 액세스 키와 비밀 액세스 키는 발급받은 키를 복사해서 붙여넣기만 하면 된다.

 

---

🟧 Data Governance

필요한 데이터가 적재적소에 올바르게 사용됨을 보장하기 위한 데이터 관리 프로세스

데이터 품질 보장과 데이터 관련 법규 준수를 목적으로 함

• 데이터 기반 결정에서의 일관성
• 데이터를 이용한 가치 만들기 > Citizen data scientist가 더 효율적으로 일할 수 있게함
• 데이터 관련 법규 준수 > 적절한 권한 설정과 보안 프로세스

 

Data Governance 관련 서비스

Enterprise 레벨에서만 가능(무료버전인 스탠다드는 불가)

 

Object Tagging

문자열(태그)을 Snowflake 객체에 지정 가능하다.

Object : Organization부터 DB, 유저, 테이블, 정책까지 Snowflake의 모든 객체

 

태그는 구조를 따라 계승된다. ex) 개인정보와 관련된 데이터 묶기

 

Snowflake의 구조. 이 안의 모든 것들이 Snowflake 객체이다.

 

Data Classification

 

Snowflake가 테이블에 있는 컬럼을 보고 알아서 태그를 달아주는 서비스

식별자(Identifier)와 준식별자(Quasi_identifier)를 구분해주지만, 영어(US)만 가능

 

적용 단계

• Analyze : 적용된 테이블의 개인정보나 민감정보가 있는 컬럼을 분류
• Review : 사람이 분류된 결과를 보고 리뷰하고 편집
• Apply : 최종 결과를 System Tag로 분류하여 저장

 

Tag based Masking Policies

부여된 Tag에 액세스 권한을 지정해주는 서비스

보통 개인정보와 같은 태그에 부여하는 용도로 많이 사용된다.

 

Access History

데이터 접근에 대한 감사 추적을 제공하여 보안과 규정을 준수하기 위한 서비스

• 잠재적인 보안 위반이나 무단 액세스 시도의 조사가 가능하다.
• 캡처된 정보에는 사용자 신원, IP 주소, 타임스탬프 등 세부정보를 포함한다.
• DB 로그인, 실행된 쿼리, 테이블 및 뷰 액세스, 데이터 조작 작업 등을 이벤트로 추적한다.

 

Object Dependencies

테이블 이름이나 컬럼 등을 변경 또는 삭제하는 경우 이로 인한 영향을 식별해주는 서비스

데이터 거버넌스와 시스템 무결성 유지를 목적으로 한다.

ex) 중요한 매출지표와 관련된 컬럼을 변경하려는 경우 어떤 영향이 있는지 보고

 

또한 계승 관계 분석 서비스를 제공하여 더 세밀한 보안 서비스를 제공한다.

ex) 어떤 테이블의 개인정보 컬럼이 새로운 테이블을 만들때 사용된다 > 개인정보 컬럼의 권한 및 태그 계승

 

Snowflake의 중요한 기능 중 하나라고 한다.

 

 

---