관계형 데이터베이스와 SQL 그리고 AWS (TIL 230508)

📚 KDT WEEK 6 DAY 1 TIL

• 관계형 데이터베이스
• SQL
• 클라우드
• Redshift

 

---

🟥 관계형 데이터베이스

구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지

ex) 엑셀 스프레드시트 형태의 테이블로 데이터를 열과 행으로 저장

• 데이터베이스(혹은 스키마)라는 폴더 밑으로 테이블이 존재하는 2단계로 구성되어 있다.

 

---

 

대표적인 관계형 데이터베이스

 

1. 프로덕션 데이터베이스 - OLTP(Online Transaction Processiong)

• MySQL, PostgreSQL, Oracle...
• 빠른 속도에 중점을 두는 데이터베이스
• 웹이나 모바일 앱 등에 바로 연동이 되어 해당 서비스에 필요한 정보를 저장하거나 읽어오는데 사용한다.
• Star schema
  • 데이터를 논리적 단위로 나누어 저장하고 필요시 조인한다.
  • 스토리지의 낭비가 덜하고 업데이트가 쉽다.

 

Star Shema, 중앙에 Join에 필요한 FK들이 모여있다.

 

2. 데이터 웨어하우스 - OLAP(Online Analytical Processing)

• Redshift, Snowflake, BigQuery, Hive ...
• 처리 데이터 크기에 중점하여 데이터 분석 혹은 모델 빌딩등을 위한 데이터 저장
• 보통 프로덕션 데이터베이스를 복사해서 데이터 웨어하우스에 저장
  • ETL(데이터 파이프라인)
    • 외부에 존재하는 데이터(프로덕션 데이터베이스 등)를 읽어서 데이터 웨어하우스에 저장
    • ETL + 데이터 웨어하우스 = 데이터 인프라
• 데이터 엔지니어가 OLTP가 아닌 OLAP에서 작업해야 편함
• Denoramlized Scehma
  • 단위 테이블로 나누어 저장하지 않아 별도의 조인이 필요없음
  • 스토리지를 더 사용하지만 계산이 빠르다.

 

※ 보통 회사가 작으면 프로덕션 데이터베이스만 존재한다.

• 필요한 데이터를 프로덕션 데이터베이스에서 SQL 해야함
• 서비스에 연결된 데이터베이스를 다뤄야하기 때문에 쿼리에 따라 전체 서비스에 영향을 준다!

 

 

 

---

 

🟦 SQL

• 데이터 요약과 데이터 분석을 위한 언어
• 관계형 데이터베이스를 조작하는데 사용하는 프로그래밍 언어
  • 테이블 정의를 위한 DDL(Data Definition Language),
  • 테이블 데이터 조작/질의를 위한 DML(Data Manipulation Language)가 있다.
• 단점
  • 비구조화된 데이터를 다루지는 못함 (raw text)
    • 정규표현식을 통해 어느정도 다룰 수는 있으나 제약이 심하다.
    • 이를 다루기 위해 Spark, Hadoop과 같은 분산 컴퓨팅 환경이 필요
  • 많은 관계형 데이터베이스가 플랫한 구조만 지원함(필드안에 필드를 넣어쓰는 구조 등이 불가)
    • 구글의 빅쿼리는 필드에 필드를 넣는 nested structure를 지원

※ SQL은 데이터 규모와 상관없이 구조화된 데이터를 잘 다루기 때문에 빅데이터 세상에서도 중요하다.

 

---

 

 

🟧 클라우드

컴퓨팅 자원(하드웨어, 소프트웨어)을 네트웍을 통해 서비스 형태로 사용하는 것

 

• 초기 투자 비용을 크게 줄일 수 있다.
• 리소스 준비를 위한 대기시간을 대폭 줄일 수 있다.
• 노는 리소스 제거로 비용 감소한다. (어느정도 탄력적 운영은 필요)
• 다양한 오픈소스 지원을 통해 소프트웨어 개발 시간이 단축된다.

 

---

 

AWS

가장 큰 클라우드 컴퓨팅 서비스 업체 from 아마존

 

• 아마존의 상품데이터를 API로 제공하면서 시작된 서비스
• 대부분의 서비스들이 오픈소스 프로젝트들을 기반으로 함
• 다양한 소프트웨어/플랫폼 서비스를 제공

 

대표적인 제공 서비스

• EC2 (Elastic Compute Cloud)
  • AWS의 서버 호스팅 서비스
  • 윈도우, 맥 등 다양한 운영체제 지원
• S3 (Simple Storage Service)
  • AWS의 대용량 클라우드 스토리지 서비스
  • 데이터 저장관리를 위해 계층적 구조를 제공 --> 버킷(디렉토리)에 버킷이나 파일을 넣어 관리

 

---

 

🟩 Redshift

최대 2 PB까지 지원하는 Scalable SQL 엔진 OLAP(응답속도가 빠르지 않음)

• Columnar storage : 컬럼별로 압축이 가능하고, 추가 및 삭제가 아주 빠름
• 벌크 업데이트 : 레코드 파일을 S3로 복사 후 COPY 커맨드로 Redshift로 일괄 복사 가능
  • 대부분의 OLAP 서비스가 지원, 커맨드는 각자 다름
• 고정 용량, 고정 비용 SQL 엔진
  • Snowflake, BigQuery는 가변 비용
• PK uniqueness를 보장하지는 않음 ▶ 개발자가 보장해줘야 함
• Postgresql 8.x(일부)와 SQL에 호환
• CREATE SCHEMA (폴더이름) 커맨드를 통해 구조 생성 가능

 

---

 

🤔 공부하면서 어려웠던 내용