데이터 팀과 데이터 웨어하우스 - TIL230522

📚 KDT WEEK 8 DAY 1 TIL

• 데이터 팀
• 데이터 웨어하우스

 

---

🟥 데이터 팀

 

데이터 팀의 역할

1. 신뢰할 수 있는 데이터를 바탕으로 부가 가치 생성
2. 데이터를 고려한 결정이 가능하도록 돕는다 ex) 대시보드, 리포트 생성
3. 데이터를 기반으로 사용자 서비스 개선 가능 ex) 알고리즘을 통한 추천 기능

---

 

데이터 팀의 발전

1. 데이터 인프라(ETL + 데이터 웨어하우스) 구축 : 데이터 엔지니어

• 데이터 웨어하우스(OLAP)
  • 회사에 필요한 모든 데이터를 모아놓은 중앙 DB
  • 소규모일경우에는 그냥 프로덕션 DB로 대체
  • 데이터 웨어하우스의 구축이 진정한 데이터 팀의 첫 번째 스텝
  • 면접 질문에서 사용하는 데이터 웨어하우스의 기술을 물어봐도 좋음.
• ETL(Extract, Transform, Load) = 데이터 파이프라인
  • 다른 곳에 존재하는 데이터를 가져다가 데이터 웨어하우스에 로드하는 작업
  • Airflow가 가장 많이 사용하는 프레임워크, AWS와 GCP도 지원

 

ETL

 

2. 데이터 분석 수행 : 데이터 분석가

• 시각화 대시보드 제작
  • 중요한 지표를 시간의 흐름과 함께 보여주는 것이 일반적 ex)매출액, 월간 사용자 수 등
  • Tableau, Looker, Power BI 등등이 보편적

 

3. 데이터 과학 적용 : 데이터 과학자

• 사용자 경험 개선 ex) 알고리즘을 통한 추천 --> 개인화 및 최적화
• 머신 러닝(ML) : 프로그래밍 없이 학습하는 알고리즘
• 데이터로부터 패턴을 찾아 학습 : 데이터의 품질과 크기가 매우 중요

 

---

 

데이터 조직의 구성원

작은 회사에서는 한 사람이 몇 개의 역할을 동시에 수행하는 것이 일반적이다.

앞서 언급한 데이터 엔지니어, 데이터 분석가, 데이터 과학자(ML 엔지니어)가 존재한다.

 

1. 데이터 엔지니어

• 데이터 웨어하우스를 구축 및 관리 ex) Redshift, BigQuery, 스노우플레이크..
• ETL 구축 및 스케줄러를 통한 주기적 실행 ex) Airflow
• 데이터 분석가와 과학자에게 데이터 또는 간단한 툴 제공
• 사용 기술 : SQL, 프로그래밍 언어(파이썬, 자바..), 데이터 웨어하우스 기술, ETL/ELT 프레임워크, 대용량 데이터 처리 플랫폼 (Spark, YARN) 등

참고)

데이터 엔지니어 스킬 로드맵 : https://github.com/datastacktv/data-engineer-roadmap

GitHub - datastacktv/data-engineer-roadmap: Roadmap to becoming a data engineer in 2021

 

2.  데이터 분석가

• 비즈니스 인텔리전스를 책임 ▶ 과학적으로 의사 결정을 돕는다. ex) 대시보드 시각화
• 비즈니스 도메인에 대한 깊은 지식이 필요(회사의 전반적인 서비스 지식)
• 회사 내 다른 팀들의 데이터 관련 질문에 소통 및 대답
  • ex) 매출이 최근 떨어진 이유?, 새로운 제품 출시에 대한 가능성 도출
• 사용 기술 : SQL, 대시보드, 통계 지식(AB 테스트 분석에 유용), 데이터 모델링(ELT)

3. MLOps

• DevOps와 비슷하지만 서비스 코드가 아니라 ML 모델이 대상으로 CI/CD
• 모델을 계속적으로 빌딩, 배포, 모니터링
• 데이터 엔지니어의 기술 + DevOps 기술 + 머신러닝 경험 및 지식

 

4. 프라이버시 엔지니어

• 전체 시스템에서 개인정보 보호를 위한 가이드라인 및 툴을 제공
• 데이터 시스템에서 더욱 중요함
• 개인 정보 보호 법안의 징벌 조항이 점점 강화되는 추세이다.
  • ex) 유럽 연합의 GDPR, 미국의 HIPAA, CCPR 등..

 

---

 

🟦 데이터 웨어하우스

 

먼저, 데이터 레이크과 비교해본다.

 

데이터 레이크가 정말 데이터들이 일정한 틀 없이 둥둥 떠다니는 강인가 보다.

데이터 레이크

• 기한 없는 모든 데이터(구조화 + 비구조화 데이터)를 형태 그대로 보존하는 스토리지에 가까움
• 데이터 웨어하우스보다 몇 배는 더 크고 더 경제적임

그렇다면, 데이터 레이크와 웨어하우스를 회사 내 DB로 가지고 있다고 생각하면 ETL과 ELT는 이렇다.

 

• ETL : 바깥에서 데이터 레이크과 웨어하우스 쪽으로 추출해서 적재
  • 회사의 성장에 따라 점점 많아진다
• ELT : 데이터 레이크와 웨어하우스에 있는 데이터를 안에서 처리하여 새로운 데이터를 적재
  • 주기적으로 요약 데이터를 만들어 사용하기 위해 새로운 데이터를 만드는 것이다.
  • ex) 고객 매출 요약 테이블, 제품 매출 요약 테이블..
  • dbt를 많이 사용한다.

 

---

 

빅데이터 처리 프레임워크

빅데이터를 저장할 때는 다수의 서버로 구성된 분산 환경을 기반으로 한다.

소수의 서버가 고장나도 동작(Fault Tolerance)해야하고, 확장에 용이해야 한다.

 

1세대 ) 하둡기반의 Hive/Presto

2세대 ) Spark(SQL, DataFrame, Streaming, ML, Graph)

대표적 빅데이터 프로세싱 시스템의 발전

 

Spark이 많이 대세라고 한다.

---

데이터 웨어하우스 옵션

데이터 웨어하우스 서비스를 몇 가지 소개한다.

아래 서비스들은 모두 CSV, JSON, Avro, Parquet 등 다양한 데이터 포맷을 지원하고 있다.

 

1. AWS Redshift

 

 

• AWS 기반 PB 스케일 데이터 분산 처리 가능
• 고정비용으로 시작했으나 가변비용도 지원(Redshift Serverless)
• AWS내 다른 서비스들과 연동이 쉽다. ex) S3, DynamoDB, SageMaker 등
• 배치 데이터 중심이지만 실시간 데이터 처리 지원
• 웹 콘솔 이외에도 API 제어 가능

 

2. Snowflake

 

 

• 데이터 판매를 통한 매출을 가능하게 하는 Data Sharing/Marketplace 제공
• ETL과 다양한 데이터 통합 기능 제공
• SQL 기반으로 빅데이터 저장, 처리, 분석 가능
• 비구조화된 데이터 처리 및 머신러닝 기능 제공
• AWS S3, GC 클라우드 스토리지, Azure Blog Storage도 지원
• 배치 데이터 중심이지만 실시간 데이터 처리 지원
• 웹 콘솔 이외에도 API 제어 가능

 

3. GCB(Google Cloud Bigquery)

 

 

 

• BigQuery SQL이란 SQL로 데이터 처리 가능(Nested fields, repeated fields 지원 등)
• 가변 비용 및 고정 비용 지원
• 구글 클라우드 내 다른 서비스와 연동이 쉬움
• 배치 데이터 중심이지만 실시간 데이터 처리 지원
• 웹 콘솔 이외에도 API 제어 가능

 

4. Apache Hive

로고는 맘에 안든다.

• 하둡 기반으로 동작하는 SQL기반 Facebook의 오픈소스 프로젝트
• HiveQL이라 부르는 SQL 지원
• 빠른 처리속도보다는 한번에 처리할 수 있는 데이터 양 크기에 최적화
• 데이터 파티셔닝과 버킷팅같은 최적화 작업 지원
• UI와 CLI 두가지 지원
• Spark에 조금씩 밀리는 중

 

5. Apache Presto

 

 

• Hive와 비슷하지만 처리속도에 좀 더 최적화된 오픈소스 프로젝트
• PrestoSQL이란 SQL 지원
• 배치 빅데이터 프로세싱 시스템
• CSV, JSON, Avro, Parquet, ORC 등 다양한 데이터 포맷 지원
• AWS Athena의 기반 서비스

 

6. Apache Spark

 

 

• 배치처리(API/SQL), 실시간처리, 그래프처리, 머신러닝 기능 제공
• 하둡(YARN), AWS EMR, Google Cloud Dataproc 등 다양한 분산처리 시스템 지원
• HDFS, S3, Cassandra 등 다양한 파일시스템과 연동 가능
• CSV, JSON, Avro, Parquet, ORC 등 다양한 데이터 포맷 지원
• Java, Python, 스칼라, R 지원

 

+ Apache Iceberg

• Netflix의 아파치 오픈소스 프로젝트, 데이터 파일 포맷이다. (데이터 웨어하우스가 아님)
• HDFS, S3, Azure Blob Storage 등 클라우드 스토리지 위에서 동작함
• ACID 트랜잭션과 과거 버전으로 롤백 및 변경 기록 유지 기능
• Schema Evolution 지원을 통한 테이블 재작성 없이 컬럼 제거와 추가 가능
• Java와 Python API 지원
• Spark, Hive 등 다른 Apache 시스템과 연동 가능

 

 

---

 

데이터 플랫폼의 발전 단계

 

1. 초기단계 : 데이터 웨어하우스 + ETL

 

2. 발전단계 : 데이터 양이 점점 증가

• 빅데이터 처리시스템(Spark 등) 도입
• 데이터 레이크를 도입하여 로그 데이터와 같은 대용량 비구조화 데이터 저장

3. 성숙단계 : 데이터 활용 증대 --> 현업단의 데이터 분석을 위한 데이터 활용 증가

• 데이터 품질이 중요해지고 머신러닝 활용 가속화
• ELT 고도화되면서 dbt 등의 analytics engineering 도입

 

 

---

 

실리콘밸리 회사 데이터 스택 트랜드

 

클라우드

 

• AWS : Affirm, Pinterest, Zillow, Udemy, Airbnb 등
• GCP : Confluent
• On-Prem : Apple(Hybrid), Uber(GCP 이전중)

 

빅데이터 시스템

 

• Spark : Apple, Affirm, Pinterest, Zillow, Udemy,Uber
• Hive/Presto : Uber, Airbnb
• BigQuery : Confluent

 

대시보드

 

• Looker : Affirm, Pinterest, Udemy, Pinterest
• Tableau : Pinterest, Zillow, Conflent, Uber
• Superset : Airbnb
• 자체제작 : Apple

 

데이터 파이프라인 프레임워크의 경우 모두 Airflow를 기반으로 사용한다.

 

• K8s : Apple, Pinterest
• dbt : Affirm, Udemy
• Stitch : Confluent