본문 바로가기

JUST DO IT!

검색하기
JUST DO IT!
프로필사진 sunhokimDev

  • 분류 전체보기 (67)
    • TIL (66)
    • 코딩테스트 (1)
    • 토이 프로젝트 (0)
Guestbook
Notice
Recent Posts
Recent Comments
Link
«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30
Tags
  • Spark Partitioning
  • SQL
  • AQE
  • spark executor memory
  • etl
  • DataFrame Hint
  • 빅데이터
  • mysql
  • Speculative Execution
  • off heap memory
  • 데이터 파이프라인
  • Kafka
  • Airflow
  • Spark 실습
  • Spark
  • backfill
  • Dag
  • Kubernetes
  • k8s
  • topic
  • aws
  • Spark SQL
  • CI/CD
  • colab
  • Docker
  • Spark Caching
  • KDT_TIL
  • disk spill
  • redshift
  • Salting
more
Archives
Today
Total
관리 메뉴
  • 글쓰기
  • 방명록
  • RSS
  • 관리

목록Spark Execution Plan (1)

JUST DO IT!

Spark에서 Parquet 다루기 실습 + Execution Plan 알아보기 - TIL230706

📚 KDT WEEK 14 DAY 4 TIL Spark 파일포맷(Parquet) Spark Execution Plan Bucketing과 File System Partitioning 🟥 Spark 파일포맷 Parquet : Spark의 기본 파일 포맷 Parquet 페이지 : http://parquet.incubator.apache.org/ Apache Parquet The Apache Parquet Website parquet.incubator.apache.org Parquet은 Structured 포맷으로, 압축된 바이너리 파일이며 내부에 스키마 정보(필드 타입까지)를 가진 파일 포맷이다. Structured ex) Parquet, AVRO, ORC, SequenceFile ... 💻 실습(Colab)..

TIL 2023. 7. 9. 23:19
이전 Prev 1 Next 다음

Blog is powered by kakao / Designed by Tistory

티스토리툴바