관계형 데이터베이스와 SQL 그리고 AWS (TIL 230508)

TIL

sunhokimDev 2023. 5. 8. 17:28

📚 KDT WEEK 6 DAY 1 TIL

구조화된 데이터를 저장하고 질의할 수 있도록 해주는 스토리지

ex) 엑셀 스프레드시트 형태의 테이블로 데이터를 열과 행으로 저장

Redshift, Snowflake, BigQuery, Hive ...
처리 데이터 크기에 중점하여 데이터 분석 혹은 모델 빌딩등을 위한 데이터 저장
보통 프로덕션 데이터베이스를 복사해서 데이터 웨어하우스에 저장
- ETL(데이터 파이프라인)
  - 외부에 존재하는 데이터(프로덕션 데이터베이스 등)를 읽어서 데이터 웨어하우스에 저장
  - ETL + 데이터 웨어하우스 = 데이터 인프라
데이터 엔지니어가 OLTP가 아닌 OLAP에서 작업해야 편함
Denoramlized Scehma
- 단위 테이블로 나누어 저장하지 않아 별도의 조인이 필요없음
- 스토리지를 더 사용하지만 계산이 빠르다.

※ 보통 회사가 작으면 프로덕션 데이터베이스만 존재한다.

데이터 요약과 데이터 분석을 위한 언어
관계형 데이터베이스를 조작하는데 사용하는 프로그래밍 언어
- 테이블 정의를 위한 DDL(Data Definition Language),
- 테이블 데이터 조작/질의를 위한 DML(Data Manipulation Language)가 있다.
단점
- 비구조화된 데이터를 다루지는 못함 (raw text)
  - 정규표현식을 통해 어느정도 다룰 수는 있으나 제약이 심하다.
  - 이를 다루기 위해 Spark, Hadoop과 같은 분산 컴퓨팅 환경이 필요
- 많은 관계형 데이터베이스가 플랫한 구조만 지원함(필드안에 필드를 넣어쓰는 구조 등이 불가)
  - 구글의 빅쿼리는 필드에 필드를 넣는 nested structure를 지원

※ SQL은 데이터 규모와 상관없이 구조화된 데이터를 잘 다루기 때문에 빅데이터 세상에서도 중요하다.

컴퓨팅 자원(하드웨어, 소프트웨어)을 네트웍을 통해 서비스 형태로 사용하는 것

가장 큰 클라우드 컴퓨팅 서비스 업체 from 아마존

대표적인 제공 서비스

EC2 (Elastic Compute Cloud)
- AWS의 서버 호스팅 서비스
- 윈도우, 맥 등 다양한 운영체제 지원
S3 (Simple Storage Service)
- AWS의 대용량 클라우드 스토리지 서비스
- 데이터 저장관리를 위해 계층적 구조를 제공 --> 버킷(디렉토리)에 버킷이나 파일을 넣어 관리

최대 2 PB까지 지원하는 Scalable SQL 엔진 OLAP(응답속도가 빠르지 않음)

Columnar storage : 컬럼별로 압축이 가능하고, 추가 및 삭제가 아주 빠름
벌크 업데이트 : 레코드 파일을 S3로 복사 후 COPY 커맨드로 Redshift로 일괄 복사 가능
- 대부분의 OLAP 서비스가 지원, 커맨드는 각자 다름
고정 용량, 고정 비용 SQL 엔진
- Snowflake, BigQuery는 가변 비용
PK uniqueness를 보장하지는 않음 ▶ 개발자가 보장해줘야 함
Postgresql 8.x(일부)와 SQL에 호환
CREATE SCHEMA (폴더이름) 커맨드를 통해 구조 생성 가능