Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | |
| 7 | 8 | 9 | 10 | 11 | 12 | 13 |
| 14 | 15 | 16 | 17 | 18 | 19 | 20 |
| 21 | 22 | 23 | 24 | 25 | 26 | 27 |
| 28 | 29 | 30 |
Tags
- Speculative Execution
- spark executor memory
- off heap memory
- DataFrame Hint
- Spark 실습
- Airflow
- KDT_TIL
- backfill
- Spark Caching
- Docker
- 빅데이터
- AQE
- etl
- colab
- k8s
- topic
- Kafka
- 데이터 파이프라인
- SQL
- CI/CD
- redshift
- Spark
- mysql
- Spark Partitioning
- aws
- disk spill
- Spark SQL
- Dag
- Salting
- Kubernetes
Archives
- Today
- Total
목록실시간 데이터 처리 (1)
JUST DO IT!
빅데이터의 실시간 처리 -TIL230710
📚 KDT WEEK 15 DAY 1 TIL 빅데이터의 처리 🟥 빅데이터의 처리 처음에는 배치 처리에 초점 > 처리할 수 있는 데이터의 양이 중요 서비스가 고도화되면서 점점 더 실시간 처리 요구가 생기기 시작했다. 데이터 처리에서 사용하는 주요 용어 4개 처리량(Throughput) : 단위 시간동안 처리할 수 있는 데이터의 양, 데이터 웨어하우스의 배치 시스템에서 중요 지연시간(Latency) : 데이터를 처리하는 데 걸리는 시간, 프로덕션 DB처럼 실시간 시스템에서 중요 대역폭(Bandwidth) : 처리랑 x 지연시간 SLA(Service Level Argreement) : 서비스 제공업체와 고객 간의 계약 또는 합의 사내 시스템들간에서도 지연시간이나 업타임등이 SLA로 사용되기도 한다. 데이터 시스..
TIL
2023. 7. 11. 00:44