Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Spark
- Airflow
- aws
- Kubernetes
- Dag
- AQE
- Spark Partitioning
- off heap memory
- Spark Caching
- colab
- KDT_TIL
- Speculative Execution
- topic
- Salting
- SQL
- disk spill
- etl
- Spark SQL
- CI/CD
- Docker
- redshift
- mysql
- DataFrame Hint
- 데이터 파이프라인
- Spark 실습
- Kafka
- k8s
- backfill
- spark executor memory
- 빅데이터
Archives
- Today
- Total
목록Kafka Streams (1)
JUST DO IT!
Kafka 알아보고 설치해보기 - TIL230712
📚 KDT WEEK 15 DAY 3 TIL Kafka Kafka 아키텍처 Kafka 기타 기능 Kafka 설치 및 간단 실습 🟥 Kafka 실시간 데이터를 처리하기 위해 설계된 오픈소스 분산 스트리밍 플랫폼 분산 아키텍처를 따르기 때문에 Scale Out 형태로 스케일 가능 Scalability와 Fault Tolerance를 제공하는 Publish-Subscription(Producer-Consumer) 메시징 시스템 중간에 버퍼(큐)를 두고, Producer와 Consumer가 독립적으로 돌아가게 만든 시스템 High Throughput, Low Latency로 실시간 데이터 처리에 맞게 구현 메시지를 정해진 보유기한(Retention period)동안 저장하게 된다 특이점 메시지 생산과 소비가 분리..
TIL
2023. 7. 14. 20:57