Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Spark Partitioning
- etl
- SQL
- 빅데이터
- Spark SQL
- CI/CD
- Dag
- k8s
- off heap memory
- AQE
- redshift
- KDT_TIL
- spark executor memory
- 데이터 파이프라인
- Spark 실습
- mysql
- Spark
- backfill
- Kafka
- colab
- Kubernetes
- disk spill
- Salting
- Spark Caching
- DataFrame Hint
- aws
- topic
- Docker
- Airflow
- Speculative Execution
Archives
- Today
- Total
목록object dependencies (1)
JUST DO IT!
Snowflake 알아보고, S3에서 COPY해보기 - TIL230525
📚 KDT WEEK 8 DAY 4 TIL Snowflake 알아보기 Snowflake 간단실습 (use AWS) Data Governance 🟥 Snowflake 글로벌 클라우드(AWS, GCP, Azure 등) 위에서 모두 동작 데이터 판매를 통한 매출을 가능하게 해주는 Data Sharing/Marketplace 제공 ETL과 다양한 데이터 통합 기능 제공 스토리지와 컴퓨팅 인프라가 별도인 가변 비용 모델 SQL기반의 빅데이터 저장 및 처리, 분석 가능 + 비구조화 데이터 처리 CSV, JSON, Avro, Parquet 등 다양한 포맷 지원 Snowflake의 주요 객체 1. Organizations 한 고객이 사용하는 모든 Snowflake 자원들을 통합하는 최상위 레벨 컨테이너 하나 이상의 Ac..
TIL
2023. 5. 25. 19:59