Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | 6 | 7 |
| 8 | 9 | 10 | 11 | 12 | 13 | 14 |
| 15 | 16 | 17 | 18 | 19 | 20 | 21 |
| 22 | 23 | 24 | 25 | 26 | 27 | 28 |
| 29 | 30 |
Tags
- Kafka
- Spark 실습
- backfill
- colab
- Spark SQL
- Airflow
- mysql
- spark executor memory
- SQL
- Kubernetes
- k8s
- etl
- disk spill
- topic
- KDT_TIL
- DataFrame Hint
- Spark Partitioning
- 빅데이터
- 데이터 파이프라인
- Salting
- off heap memory
- Spark
- Docker
- redshift
- Spark Caching
- Dag
- aws
- CI/CD
- AQE
- Speculative Execution
Archives
- Today
- Total
목록message queue (1)
JUST DO IT!
빅데이터의 실시간 처리 -TIL230710
📚 KDT WEEK 15 DAY 1 TIL 빅데이터의 처리 🟥 빅데이터의 처리 처음에는 배치 처리에 초점 > 처리할 수 있는 데이터의 양이 중요 서비스가 고도화되면서 점점 더 실시간 처리 요구가 생기기 시작했다. 데이터 처리에서 사용하는 주요 용어 4개 처리량(Throughput) : 단위 시간동안 처리할 수 있는 데이터의 양, 데이터 웨어하우스의 배치 시스템에서 중요 지연시간(Latency) : 데이터를 처리하는 데 걸리는 시간, 프로덕션 DB처럼 실시간 시스템에서 중요 대역폭(Bandwidth) : 처리랑 x 지연시간 SLA(Service Level Argreement) : 서비스 제공업체와 고객 간의 계약 또는 합의 사내 시스템들간에서도 지연시간이나 업타임등이 SLA로 사용되기도 한다. 데이터 시스..
TIL
2023. 7. 11. 00:44