Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Dag
- 데이터 파이프라인
- redshift
- off heap memory
- mysql
- Spark SQL
- Kubernetes
- Spark Caching
- colab
- Spark Partitioning
- k8s
- CI/CD
- SQL
- DataFrame Hint
- Spark 실습
- Salting
- Kafka
- Speculative Execution
- KDT_TIL
- disk spill
- Spark
- AQE
- spark executor memory
- aws
- Airflow
- Docker
- topic
- backfill
- 빅데이터
- etl
Archives
- Today
- Total
목록Redshift 벌크업업데이트 (1)
JUST DO IT!
Redshift serverless 생성하고 S3의 csv 파일 Redshift에 COPY하기 - TIL230523
📚 KDT WEEK 8 DAY 2 TIL Redshift 알아보기 Redshift Severless 생성 실습 Redshift COPY 실습 🟥 Redshift AWS에서 지원하는 데이터 웨어하우스 서비스 최소 160GB ~ 2PB까지 처리 가능 응답속도가 빠르지 않아 프로덕션 데이터베이스로는 부적합 레코드 별로 저장하는 것이 아니라 컬럼별로 저장함 컬럼별 압축이 가능하며 컬럼을 추가하거나 삭제하는 것이 빠르다 벌크 업데이트(S3에서 레코드파일을 일괄복사 가능) 지원 - COPY SQL 고정 용량/비용 엔진, 가변 비용 옵션(Redshift Serverless)도 지원 데이터 공유 기능(Datashare)으로 다른 AWS 계정과 데이터 공유 가능 데이터 웨어하우스이므로 Primary Key Uniquen..
TIL
2023. 5. 23. 17:03