플랫폼 개발팀 기술 블로그

[스파크(Spark)] #2. 용어 및 개념 본문

Spark

[스파크(Spark)] #2. 용어 및 개념

피랑이 2019. 5. 3. 11:46

[스파크(Spark)] #1. 개요

[스파크(Spark)] #2. 용어 및 개념

[스파크(Spark)] #3. 구조적 API 개요 및 기본 연산

 

스파크가 무엇인지에 대한 개요에 대해서 알아보았다. 

이번에는 핵심 용어 및 개념에 대해서 알아본다. 

스파크 애플리케이션 아키텍처

사용자는 클러스터 매니저에게 스파크 애플리케이션을 제출한다. 

클러스터 매니저는 제출받은 애플리케이션 실행에 필요한 자원을 할당하고, 스파크 애플리케이션은 할당받은 자원으로 작업을 처리한다.  

 

스파크 애플리케이션은 드라이버 프로세스와 다수의 익스큐터 프로세스로 구성된다. 

드라이버 프로세스는 클러스터 노드 중 하나에에서만 실행한다. 즉 main() 함수를 실행한다. 

익스큐더는 다수의 도드에서 실행하며, 드라이버가 할당한 작업을 수행한다. 

사용자는 각 노드에 할당할 익스큐터 수를 지정할 수 있다. 

클러스터 매니저는 스파크가 연산에 사용할 4개의 클러스터 종류를 지원한다. 

드라이버(driver)
  • 하나의 스파크 애플리케이션 처리 
  • 프로그램이나 입력에 대한 응답
  • 익스큐터 작업과 관련된 분석, 배포 및 스케쥴링 역활 수행
  • SparkSession라고 하며 스파크 애플리케이션의 엔트리 역활을 맡은 object임
익스큐터(executor)
  • 드라이버가 할당한 코드를 실행
  • 실행한 진행상황을 드라이버에 보고

스파크는 사용 가능한 자원을 파악하기 위해 클러스터 매니저를 사용한다. 

드라이버 프로세스는 주어진 작업을 완료하기 위해 익스큐터에게 명령을 내린다. 

트랜스포메이션과 액션

스파크 핵심 데이터 구조는 불변성이다. 즉 데이터를 한번 생성하면 변경할 수 없다. 

데이터를 변경하려면 스파크에게 알려줘야 한다. 이 때 사용하는 명령이 트랜스포메이션이다. 

사용자는 트랜스포메이션을 사용해 논리적 실행 계획을 만든다.  하지만 액션을 호출하지 않으면 스파크는 실제 트랜스포메이션을 실행하지 않는다. 

사용자는 트랜스포메이션을 사용해 논리적 실행 계획을 세우고 액션을 통하여 실제 연산을 수행한다. 

아래 python 예제를 참조하자.

#트랜스포메이션 divisBy2 = myRange.where("number % 2 = 0") #액션 divisBy2.count()

트랜트포메이션은 두가지 유형의 의존성 존재한다. 

좁은 의존성
  • 하나의 입력 파티션이 하나의 출력 파티션에만 영향을 미침
  • 파이프라이닝
넓은 의존성
  • 하나의 입력 파티션이 여러 출력 파티션에 영향을 미침
  • 셔플

파티션 관련 내용은 DataFrame을 먼저 참조하길 바란다.

스파크 기본 요소

스파크는 저수준의 API, 구조적 API, 그리고 추가로 제공하는 일련의 표준 라이브러리로 구성되어 있다.

저수준의 API와 구조적 API 차이는 데이터 스키마 여부와 추상화에 있다. 

API 특징

RDD - Spark 1.0
  • Resilient Distributed Dataset : 탄력적이면서 분산된 데이터 셋
  • 스키마가 없음
  • 한번 정의하면 변경 불가능
  • 장애 발생 시 복구 가능
  • 현재는 RDD 비중이 높으나 Dataset이 비중이 늘어나고 있음
DataFrame - Spark 1.3
  • 스키마를 가진 RDD
  • RDB 테이블과 비슷하게 명명된 열로 구성됨
  • RDD 처럼 한번 정의하면 변경 불가능
  • 질의나 API를 통해 데이터를 쉽게 처리 가능
DataSet - Spark 1.6, 2.0
  • Spark 2.0 부터는 DataFrame과 통합되어 강력한 형식의 API와 형식지 지정되지 않은 API를 사용
  • lambda 사용 가능
  • 정적 타이핑 및 런타임 유형이 안전 
  • 저수준의 API를 굳이 사용할 필요가 없으면 DataSet을 권장함

API 차이점

마치며

스파크의 기본 용어 및 개념에 대해서 알아보았다. 

다음에는 구조적 API와 기본연산에 대해서 알아본다. 

 

참고

 

Difference between DataFrame, Dataset, and RDD in Spark

I'm just wondering what is the difference between an RDD and DataFrame (Spark 2.0.0 DataFrame is a mere type alias for Dataset[Row]) in Apache Spark? Can you convert one to the other?

stackoverflow.com

 

A Tale of Three Apache Spark APIs: RDDs vs DataFrames and Datasets

In summation, the choice of when to use RDD or DataFrame and/or Dataset seems obvious. While the former offers you low-level functionality and control, the latter allows custom view and structure, offers high-level and domain specific operations, saves spa

databricks.com

 

A comparison between RDD, DataFrame and Dataset in Spark from a developer’s point of view

APIs in Spark are great and contribute to the awesomeness of Spark. This so helpful framework is used to process big data.

medium.zenika.com

 

'Spark' 카테고리의 다른 글

[스파크(Spark)] #3. 구조적 API 개요 및 기본 연산  (0) 2019.05.17
[스파크(Spark)] #1. 개요  (0) 2019.04.04
'Spark' Related Articles more
Comments