Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- aws
- Kubernetes
- 데이터 파이프라인
- Spark
- etl
- Docker
- Spark SQL
- mysql
- colab
- Kafka
- Spark 실습
- SQL
- Spark Partitioning
- Speculative Execution
- k8s
- 빅데이터
- redshift
- AQE
- DataFrame Hint
- topic
- spark executor memory
- KDT_TIL
- backfill
- Airflow
- CI/CD
- Spark Caching
- disk spill
- off heap memory
- Dag
- Salting
Archives
- Today
- Total
목록Backpressure (1)
JUST DO IT!
빅데이터의 실시간 처리 -TIL230710
📚 KDT WEEK 15 DAY 1 TIL 빅데이터의 처리 🟥 빅데이터의 처리 처음에는 배치 처리에 초점 > 처리할 수 있는 데이터의 양이 중요 서비스가 고도화되면서 점점 더 실시간 처리 요구가 생기기 시작했다. 데이터 처리에서 사용하는 주요 용어 4개 처리량(Throughput) : 단위 시간동안 처리할 수 있는 데이터의 양, 데이터 웨어하우스의 배치 시스템에서 중요 지연시간(Latency) : 데이터를 처리하는 데 걸리는 시간, 프로덕션 DB처럼 실시간 시스템에서 중요 대역폭(Bandwidth) : 처리랑 x 지연시간 SLA(Service Level Argreement) : 서비스 제공업체와 고객 간의 계약 또는 합의 사내 시스템들간에서도 지연시간이나 업타임등이 SLA로 사용되기도 한다. 데이터 시스..
TIL
2023. 7. 11. 00:44