Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | ||||
| 4 | 5 | 6 | 7 | 8 | 9 | 10 |
| 11 | 12 | 13 | 14 | 15 | 16 | 17 |
| 18 | 19 | 20 | 21 | 22 | 23 | 24 |
| 25 | 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Airflow
- Spark 실습
- spark executor memory
- Kafka
- disk spill
- k8s
- KDT_TIL
- Dag
- Salting
- backfill
- CI/CD
- Spark
- etl
- Docker
- aws
- Spark Partitioning
- Kubernetes
- DataFrame Hint
- off heap memory
- AQE
- SQL
- Speculative Execution
- mysql
- colab
- topic
- 데이터 파이프라인
- Spark SQL
- 빅데이터
- Spark Caching
- redshift
Archives
- Today
- Total
JUST DO IT!
Tags
- KDT_TIL
- Airflow
- SQL
- redshift
- Docker
- Spark
- etl
- aws
- Spark SQL
- Spark 실습
- backfill
- 데이터 파이프라인
- CI/CD
- k8s
- Kubernetes
- 빅데이터
- colab
- topic
- Dag
- Kafka
- mysql
- Salting
- AQE
- DataFrame Hint
- Spark Partitioning
- Spark Caching
- spark executor memory
- off heap memory
- disk spill
- Speculative Execution
- Accumulators
- Broadcast Variable
- 행렬 미분
- 머신러닝 E2E
- REST Proxy
- Kafka Schema Registry
- Eviction
- Point-to-Point
- Backpressure
- 람다 아키텍처(Lambda architecture)
- 실시간 데이터 처리
- Schema Evolution
- File System Partitioning
- Bucketing
- Spark Execution Plan
- aggregation function
- UDAF
- Spark UDF
- Hive 메타스토어
- SparkSession
- dbt snapshots
- dbt test
- dbt sources
- dbt seeds
- Materialization
- Airflow 대안
- Airflow log 삭제 백업
- LatestOnlyOperator
- External Task Sensor
- trigger dag run operator
- reactive trigger
- Explicit trigger
- trigger rules
- Dynamic Dags
- Task Grouping
- Dag Dependencies
- bash operator
- jinja template
- Slack alert
- python test
- airflow executor
- execution_date
- start_date
- Primary Key Uniqueness
- Incremental Update
- Full Refresh
- Airflow 실습
- Airflow Variable
- object dependencies
- data governance
- Redshift Recovery Points
- Redshift Snapshot
- Redshift Spectrum
- Redshift ML
- Redshift 벌크업업데이트
- Redshift COPY
- Redshift Serverless
- Redshift 실습
- 데이터 팀
- Redshift cluster
- 데이터품질
- KDL_TIL
- 선형 대수
- ksqldb
- Google Sheet
- BranchPythonOperator
- Kafka Connect
- PythonOperator
- docker volume
- Kafka Streams
- 모델 학습
- codebuild
- sparksql
- CTAS
- Parquet
- kafka 설치
- Codepipeline
- Data Catalog
- 데이터 엔지니어
- 키페어
- 최소제곱법
- Github action
- docker 명령어
- CodeDeploy
- Google Colab
- dockerfile
- sklearn
- Sagemaker
- AWS Glue
- docker-compose
- 데이터 분석가
- 배치 처리
- DBT
- codecommit
- sql문법
- 행렬의 곱셈
- cloudWatch
- docker image
- spark streaming
- MAU
- groupby
- WebHooks
- AGGREGATE
- DataFrame
- Persist
- AWS EC2
- Cohort
- pandas
- 데이터 정제
- 데이터 웨어하우스
- RDD
- 데이터 과학자
- yarn
- 머신러닝
- LV2
- ROW_NUMBER()
- 날씨API
- CTE
- superset
- message queue
- vacuum
- git
- xcom
- HDFS
- snowflake
- EIP
- lambda
- consumer
- 코딩테스트
- Broker
- 인스턴스
- Hadoop
- MapReduce
- 정규분포
- 유닛테스트
- CLI
- workflow
- RDBMS
- preset
- container
- Cache
- 세션
- 클라우드
- dynamic allocation
- Crawling
- 시각화
- 확률
- S3
- 트랜잭션
- 웹서비스
- Dashboard
- 데이터베이스
- IAM
- POD
- 파티션
- transaction
- join
- ubuntu
- 대시보드
- API
- 배포
- Project
- Python
- 리눅스
- IMAGE
- YouTube