Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- SQL
- Spark
- AQE
- 빅데이터
- colab
- CI/CD
- disk spill
- Spark SQL
- Spark Partitioning
- Spark Caching
- DataFrame Hint
- topic
- Spark 실습
- etl
- off heap memory
- Salting
- aws
- redshift
- Dag
- Kafka
- k8s
- Airflow
- spark executor memory
- mysql
- Kubernetes
- backfill
- KDT_TIL
- Speculative Execution
- Docker
- 데이터 파이프라인
Archives
- Today
- Total
목록REST Proxy (1)
JUST DO IT!
Kafka 알아보고 설치해보기 - TIL230712
📚 KDT WEEK 15 DAY 3 TIL Kafka Kafka 아키텍처 Kafka 기타 기능 Kafka 설치 및 간단 실습 🟥 Kafka 실시간 데이터를 처리하기 위해 설계된 오픈소스 분산 스트리밍 플랫폼 분산 아키텍처를 따르기 때문에 Scale Out 형태로 스케일 가능 Scalability와 Fault Tolerance를 제공하는 Publish-Subscription(Producer-Consumer) 메시징 시스템 중간에 버퍼(큐)를 두고, Producer와 Consumer가 독립적으로 돌아가게 만든 시스템 High Throughput, Low Latency로 실시간 데이터 처리에 맞게 구현 메시지를 정해진 보유기한(Retention period)동안 저장하게 된다 특이점 메시지 생산과 소비가 분리..
TIL
2023. 7. 14. 20:57