데이터 카탈로그 - TIL230623(2)

📚 KDT WEEK 12 DAY 5 TIL

• 데이터 카탈로그

 

---

 

🟥 데이터 카탈로그

데이터 자산의 효율적인 관리하는 프레임웍이자, 데이터 자산 메타 정보 중앙 저장소

많은 회사들이 데이터 카탈로그를 메인 데이터 거버넌스 툴로 사용함

데이터 자산 : 테이블 (데이터베이스), 대시보드, 문서/메시지, ML 피쳐, 데이터 파이프라인... 등등

 

데이터 카탈로그의 주요 기능

• 주요 데이터 플랫폼 지원 : 주요 DW, BI Tools, ELT와 ETL 툴 등등 대부분을 지원
• 비즈니스 용어집(Business Glossary)
• 주석/문서/태그 등 협업 기능
• 데이터 리니지
• 데이터 모니터링, 감사. 트레이싱
• 강력한 검색 기능(통합, NLP 검색)
• 데이터 추천 기능

 

데이터 카탈로그의 중요성(데이터 거버넌스 관점)

• 데이터 자산에 대한 통합 뷰 제공
• 설문이나 데이터 티켓의 감소로 확인되는 생산성 증대
• 잘못된 결정과 개인정보 등의 전파 방지를 통한 위험 감소
• 불필요한 정보의 생성 방지를 통한 인프라 비용 감소

 

데이터 카탈로그 툴

• 상용제품 : Alation, Collibra, Atlan, Select Star
• 오픈소스 : Amundsen, DataHub
• 클라우스 서비스 : AWS Glue Data Catalog, Google Cloud Data Catalog, Microsoft Azure Data Catalog...

 

 

Atlan

• 협업 관련 여러 서비스(Slack, Jira, Github 등)과의 연동에 초점
• 오픈 API를 통한 새로운 메타데이터의 추가 연동이 쉬움
• 프로그래밍이 가능한 봇을 사용해 태스크 자동화 가능

 

Microsoft Azure Purview Data Catalog

• 메타데이터를 수집하고 리니지 정보 추출 기능
• 지원하는 데이터 플랫폼의 수가 많음
• 데이터 거버넌스 제품의 일부 서비스로, 거버넌스로 확장 용이