Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Spark Partitioning
- colab
- Salting
- AQE
- Spark Caching
- Kubernetes
- off heap memory
- disk spill
- Kafka
- topic
- mysql
- KDT_TIL
- 빅데이터
- Spark 실습
- 데이터 파이프라인
- DataFrame Hint
- Dag
- CI/CD
- aws
- SQL
- Spark SQL
- etl
- k8s
- backfill
- redshift
- Airflow
- Speculative Execution
- spark executor memory
- Spark
- Docker
Archives
- Today
- Total
목록object dependencies (1)
JUST DO IT!
Snowflake 알아보고, S3에서 COPY해보기 - TIL230525
📚 KDT WEEK 8 DAY 4 TIL Snowflake 알아보기 Snowflake 간단실습 (use AWS) Data Governance 🟥 Snowflake 글로벌 클라우드(AWS, GCP, Azure 등) 위에서 모두 동작 데이터 판매를 통한 매출을 가능하게 해주는 Data Sharing/Marketplace 제공 ETL과 다양한 데이터 통합 기능 제공 스토리지와 컴퓨팅 인프라가 별도인 가변 비용 모델 SQL기반의 빅데이터 저장 및 처리, 분석 가능 + 비구조화 데이터 처리 CSV, JSON, Avro, Parquet 등 다양한 포맷 지원 Snowflake의 주요 객체 1. Organizations 한 고객이 사용하는 모든 Snowflake 자원들을 통합하는 최상위 레벨 컨테이너 하나 이상의 Ac..
TIL
2023. 5. 25. 19:59