JUST DO IT!

📚 KDT WEEK 15 DAY 1 TIL 빅데이터의 처리 🟥 빅데이터의 처리 처음에는 배치 처리에 초점 > 처리할 수 있는 데이터의 양이 중요 서비스가 고도화되면서 점점 더 실시간 처리 요구가 생기기 시작했다. 데이터 처리에서 사용하는 주요 용어 4개 처리량(Throughput) : 단위 시간동안 처리할 수 있는 데이터의 양, 데이터 웨어하우스의 배치 시스템에서 중요 지연시간(Latency) : 데이터를 처리하는 데 걸리는 시간, 프로덕션 DB처럼 실시간 시스템에서 중요 대역폭(Bandwidth) : 처리랑 x 지연시간 SLA(Service Level Argreement) : 서비스 제공업체와 고객 간의 계약 또는 합의 사내 시스템들간에서도 지연시간이나 업타임등이 SLA로 사용되기도 한다. 데이터 시스..

📚 KDT WEEK 14 DAY 1 TIL 빅데이터 하둡(Hadoop) Spark 🟥 빅데이터 서버 한대로 처리할 수 없는 규모의 데이터 기존의 소프트웨어로는 처리할 수 없는 규모의 데이터 빅데이터 예시) 모바일 디바이스 데이터(위치정보 등), 각종 IoT 센서 데이터, 네트워킹 디바이스 등 📦 빅데이터의 처리 특징 빅데이터를 손실없이 보관할 방법 : 스토리지 병렬 처리를 통한 처리 시간 단축 비구조화된 데이터( ex. 웹 로그파일)는 SQL만으로는 처리가 어려움 ➡️ 따라서 대용량 분산 시스템이 필요 분산 파일 시스템과 분산 컴퓨팅 시스템 Fault Tolerance : 소수의 서버가 고장나도 동작해야 함 Scale Out(서버 추가) 형식의 확장이 용이 해야함 🟦 하둡(Hadoop) 다수의 노드로 구..