빅데이터와 Spark 알아보기 - TIL230703

📚 KDT WEEK 14 DAY 1 TIL

• 빅데이터
• 하둡(Hadoop)
• Spark

---

🟥 빅데이터

• 서버 한대로 처리할 수 없는 규모의 데이터
• 기존의 소프트웨어로는 처리할 수 없는 규모의 데이터

빅데이터 예시) 모바일 디바이스 데이터(위치정보 등), 각종 IoT 센서 데이터, 네트워킹 디바이스 등

 

📦 빅데이터의 처리 특징

• 빅데이터를 손실없이 보관할 방법 : 스토리지
• 병렬 처리를 통한 처리 시간 단축
• 비구조화된 데이터( ex. 웹 로그파일)는 SQL만으로는 처리가 어려움

 

➡️ 따라서 대용량 분산 시스템이 필요

• 분산 파일 시스템과 분산 컴퓨팅 시스템
• Fault Tolerance : 소수의 서버가 고장나도 동작해야 함
• Scale Out(서버 추가) 형식의 확장이 용이 해야함

 

---

 

🟦 하둡(Hadoop)

 

 

 

다수의 노드로 구성된 클러스터 시스템으로써, 마치 하나의 거대한 컴퓨터처럼 동작한다. (실제는 여러 개)

대용량의 데이터를 여러 대의 컴퓨터로 분석하고 저장하는 방식으로 효율적인 데이터 처리 기능을 한다.

 

하둡은 하둡 2.0부터 YARN이란 분산처리 시스템위에서 동작하는 애플리케이션이 되었다.

이따가 알아볼 Spark은 YARN위에서 애플리케이션 레이어로 실행된다.

 

---

 

🗂️ HDFS - 분산 파일 시스템

• 데이터를 블록단위로 나누어 다수의 서버에 저장한다.
• 각 블록을 3군데에 중복 저장하여 Fault tolerance 보장
• 하둡 2.0에서는 네임 노드를 이중화(Active & Standby) 구성

 

---

 

🗄️ MapReduce : 분산 컴퓨팅 시스템(하둡 1.0)

• 하나의 잡 트래커(Master)와 다수의 태스크 트래커(Slave)로 이루어짐
• 태스크 트래커에서 일을 병렬처리
• MarpReduce만 지원하므로 유연성은 떨어짐

 

맵리듀스 프로그래밍의 특징

 

• 데이터 셋은 Key, Value의 집합(불변)
• 데이터의 조작은 map과 reduce 두 개의 오퍼레이션으로만 가능 > 융통성 부족으로 인한 낮은 생산성
• 셔플링 : Map의 결과를 Reduce단으로 모으는 것 > 이 데이터 이동때문에 시간이 많이 소요될 수 있음
• 배치 작업 중심

 

Map과 Reduce

 

1. Map (k,v) -> [(k', v')*]
   • 하나의 Key Value 페어가 들어오면 새로운 Key Value 페어로 만들어줌(transformation)
   • 입력 : 시스템에 의해 주어지며 HDFS 파일에서 자동으로 넘어옴
   • 출력 : 입력 Key Value 페어를 그대로 출력해도 되고, 없어도 된다.
2. Reduce (k' , [v1', v2', v3', v4', ...]) -> (k'', v'')
   • 입력 : 맵의 출력 중 같은 Key를 갖는 Value 들을 시스템이 묶어서 넣어 넘어옴
   • 출력 : Key와 Value 리스트를 새로운 Key Value 페어로 변환되어 HDFS 파일에 저장된다.

 

---

 

🖥️ YARN : 분산 컴퓨팅 시스템(하둡 2.0)

• 세부 리소스 관리가 가능한 범용 컴퓨팅 프레임웍(범용적)
• 하나의 리소스 매니저(Master)와 다수의 노드 매니저(Slave)로 이루어짐
• Slave는 그 서버에 해당하는 리소스(컨테이너들)를 관리하는 역할

 

YARN의 동작

 

 

출처 : InterviewBit

 

1. 클라이언트가 실행 코드(및 환경정보)를 RM(Resource Manager)에게 보냄
2. RM이 NM(Node Manager)를 통해 AM(Application Master)를 실행한다.
   • YARN Application마다 하나의 AM이 생성된다.
3. AM이 RM으로 코드 실행에 필요한 리소스(컨테이너)를 받아온다.
4. AM에 NM을 통해 컨테이너들을 받아 코드를 실행한다.(태스크)
5. 태스크들은 자신의 상황을 주기적으로 AM에게 업데이트한다.(heartbeat)
   • 태스크가 실패하거나 보고가 오랜 시간 없으면 다른 컨테이너로 재실행

 

---

 

3️⃣ 하둡 3.0

• YARN 2.0을 사용
  • YARN 프로그램들을 논리적인 그룹(플로우)로 나누어서 효율적인 자원 관리 기능 제공
  • 타임라인 서버에서 HBase를 기본 스토리지로 사용
• 다수의 스탠바이 네임도르를 지원
• HDFS, S3, Azure Storage 이외에도 Azure Data Lake Storage 등을 지원

 

---

 

Data Skew

각 태스크가 처리하는 데이터 크기에 불균형이 존재하는 것

Mapper에서 Reducer로 오는 과정에서 특정 키의 값이 특히나 많다면 발생

빅데이터 시스템에는 이 문제가 모두 존재하며, 데이터 엔지니어가 고생하는 이유 중 하나이다.

이 문제는 맵리듀스뿐만 아니라 다른 시스템에도 모두 존재한다.

 

MapReduce 대안

더 범용적인 대용량 데이터 처리 프레임웍들의 등장 > YARN, Spark

Hive, Presto

 

---

 

🟩 Spark

 

 

하둡의 뒤를 잇는 2세대 빅데이터 기술

분산 환경 위에서 돌아가는 분산 컴퓨팅 시스템으로써, 빅데이터 처리와 관련된 다양한 기능을 제공한다.

 

Spark 데이터 시스템 사용 예)

• 1) 대용량 비구조화된 데이터를 처리하기 (ETL or ELT)
• 2) ML 모델에 사용되는 대용량 피쳐 처리 (배치 or 스트리밍 처리)

 

🆚 Spark vs MapReduce

1. Spark은 메모리 기반(부족하면 디스크 사용), MapReduce은 디스크 기반
2. MapReduce는 하둡(YARN)위에서만 동작하지만, Spark은 다른 분산 컴퓨팅 환경 지원(K8s, Mesos 등)
3. MapReduce는 Key Value 데이터 구조만 지원하지만, Spark은 판다스 데이터프레임과 비슷한 데이터 구조 지원
4. Spark은 또한 배치 데이터 처리, 스트림 데이터 처리, SQL, 머신 러닝, 그래프 분석 등의 다양한 기능 지원

 

---

 

📲 Spark 프로그래밍 API

• RDD (Resilient Distributed Dataset) : 로우레벨 API, 코딩 복잡도 증가
• DataFrame & Dataset(판다스와 흡사) : 하이레벨 API로, 많이 사용하는 추세 + ML에 유리
• Spark SQL : 구조화된 데이터 조작에 유리하며, 데이터 프레임을 테이블처럼 SQL 처리 가능

 

Spark ML

• 머신러닝 관련 다양한 알고리즘, 유틸리티로 구성된 라이브러리
• 데이터프레임과 SparkSQL등을 이용해 전처리하며, 대용량 데이터도 처리 가능하다.
• ML Pipeline을 통해 모델 빌딩 자동화하고, MLflow로 모델 관리 및 서빙도 가능

* spark.mlib는 RDD 기반이고 spark.ml은 데이터프레임 기반이지만, RDD은 더이상 업데이트가 없으므로 spark.ml 사용

 

---

 

🏗️ Spark 프로그램의 구조(YARN 기준)

 

Spark Cluster : 하나의 Driver에 의해 여러 개의 Executor가 제어되는 형태

 

Driver (YARN의 Appllication Master)

• 실행되는 코드의 마스터 역할 수행
• 사용자 코드를 실제 Spark 태스크로 변환하여 Spark Cluster에서 실행
  • client 모드 : 개발or학습or테스트 등의 목적으로 사용할 때
    • Drvier가 Spark Cluster 밖에서 Executor를 제어하며, 노트북이나 Spark Shell 등 사용
  • cluster 모드 : 개발이 끝난 코드를 실제 프로덕션 운영에 사용할 때
    • Driver가 Spark Cluster 안에서 Executor를 제어하며, spark-submit을 사용

 

Client 모드와 Cluster 모드

 

Executor(YARN의 컨테이너) : 실제 태스크를 실행해주는 역할 수행

 

---

 

local[n] : YARN이 아닌 로컬의 경우

• 개발/테스트용으로써 Spark Shell, IDE, 노트북 등을 이용함
• Local JVM안에 하나의 Driver가 여러 개의 Executor을 제어하는 형태
• n은 하나의 JVM 안에 n개의 Executor의 수가 된다. (n개의 쓰레드) (*이면 컴퓨터의 모든 코어사용)