| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- KDT_TIL
- Spark Caching
- Speculative Execution
- topic
- aws
- Docker
- Dag
- Salting
- AQE
- CI/CD
- spark executor memory
- Spark
- mysql
- Airflow
- backfill
- off heap memory
- 빅데이터
- Kubernetes
- Spark Partitioning
- disk spill
- Spark 실습
- SQL
- 데이터 파이프라인
- Kafka
- DataFrame Hint
- Spark SQL
- etl
- k8s
- redshift
- colab
- Today
- Total
목록Kafka (2)
JUST DO IT!
Kafka Producer 및 Consumer 실습해보기 with Python (+ksqlDB) - TIL230713
📚 KDT WEEK 15 DAY 4 TIL Kafka 기본 프로그래밍 Topic 생성 및 파라미터 설정 Consumer 생성 및 파라미터 설정 ksqlDB 🟥 Kafka 기본 프로그래밍 나의 Kafka 설치 환경은 conduktor사가 제공하는 Repo를 git clone해서 가져왔다. 이 글은 이 환경을 기반으로 설명한다. 참고 : https://sunhokimdev.tistory.com/66 Kafka 알아보고 설치해보기 - TIL230712 📚 KDT WEEK 15 DAY 3 TIL Kafka Kafka 아키텍처 Kafka 기타 기능 Kafka 설치 및 간단 실습 🟥 Kafka 실시간 데이터를 처리하기 위해 설계된 오픈소스 분산 스트리밍 플랫폼 분산 아키텍처를 따르기 때문에 Sca sunhokimd..
Kafka 알아보고 설치해보기 - TIL230712
📚 KDT WEEK 15 DAY 3 TIL Kafka Kafka 아키텍처 Kafka 기타 기능 Kafka 설치 및 간단 실습 🟥 Kafka 실시간 데이터를 처리하기 위해 설계된 오픈소스 분산 스트리밍 플랫폼 분산 아키텍처를 따르기 때문에 Scale Out 형태로 스케일 가능 Scalability와 Fault Tolerance를 제공하는 Publish-Subscription(Producer-Consumer) 메시징 시스템 중간에 버퍼(큐)를 두고, Producer와 Consumer가 독립적으로 돌아가게 만든 시스템 High Throughput, Low Latency로 실시간 데이터 처리에 맞게 구현 메시지를 정해진 보유기한(Retention period)동안 저장하게 된다 특이점 메시지 생산과 소비가 분리..