'Spark'에 해당되는 글 2건

  1. 2019.05.03 [스파크(Spark)] #2. 용어 및 개념
  2. 2019.04.04 [스파크(Spark)] #1. 개요

[스파크(Spark)] #1. 개요

[스파크(Spark)] #2. 용어 및 개념

[스파크(Spark)] #3. 구조적 API 개요 및 기본 연산

 

스파크가 무엇인지에 대한 개요에 대해서 알아보았다. 

이번에는 핵심 용어 및 개념에 대해서 알아본다. 

스파크 애플리케이션 아키텍처

사용자는 클러스터 매니저에게 스파크 애플리케이션을 제출한다. 

클러스터 매니저는 제출받은 애플리케이션 실행에 필요한 자원을 할당하고, 스파크 애플리케이션은 할당받은 자원으로 작업을 처리한다.  

 

스파크 애플리케이션은 드라이버 프로세스와 다수의 익스큐터 프로세스로 구성된다. 

드라이버 프로세스는 클러스터 노드 중 하나에에서만 실행한다. 즉 main() 함수를 실행한다. 

익스큐더는 다수의 도드에서 실행하며, 드라이버가 할당한 작업을 수행한다. 

사용자는 각 노드에 할당할 익스큐터 수를 지정할 수 있다. 

클러스터 매니저는 스파크가 연산에 사용할 4개의 클러스터 종류를 지원한다. 

드라이버(driver)
  • 하나의 스파크 애플리케이션 처리 
  • 프로그램이나 입력에 대한 응답
  • 익스큐터 작업과 관련된 분석, 배포 및 스케쥴링 역활 수행
  • SparkSession라고 하며 스파크 애플리케이션의 엔트리 역활을 맡은 object임
익스큐터(executor)
  • 드라이버가 할당한 코드를 실행
  • 실행한 진행상황을 드라이버에 보고

스파크는 사용 가능한 자원을 파악하기 위해 클러스터 매니저를 사용한다. 

드라이버 프로세스는 주어진 작업을 완료하기 위해 익스큐터에게 명령을 내린다. 

트랜스포메이션과 액션

스파크 핵심 데이터 구조는 불변성이다. 즉 데이터를 한번 생성하면 변경할 수 없다. 

데이터를 변경하려면 스파크에게 알려줘야 한다. 이 때 사용하는 명령이 트랜스포메이션이다. 

사용자는 트랜스포메이션을 사용해 논리적 실행 계획을 만든다.  하지만 액션을 호출하지 않으면 스파크는 실제 트랜스포메이션을 실행하지 않는다. 

사용자는 트랜스포메이션을 사용해 논리적 실행 계획을 세우고 액션을 통하여 실제 연산을 수행한다. 

아래 python 예제를 참조하자.

#트랜스포메이션 divisBy2 = myRange.where("number % 2 = 0") #액션 divisBy2.count()

트랜트포메이션은 두가지 유형의 의존성 존재한다. 

좁은 의존성
  • 하나의 입력 파티션이 하나의 출력 파티션에만 영향을 미침
  • 파이프라이닝
넓은 의존성
  • 하나의 입력 파티션이 여러 출력 파티션에 영향을 미침
  • 셔플

파티션 관련 내용은 DataFrame을 먼저 참조하길 바란다.

스파크 기본 요소

스파크는 저수준의 API, 구조적 API, 그리고 추가로 제공하는 일련의 표준 라이브러리로 구성되어 있다.

저수준의 API와 구조적 API 차이는 데이터 스키마 여부와 추상화에 있다. 

API 특징

RDD - Spark 1.0
  • Resilient Distributed Dataset : 탄력적이면서 분산된 데이터 셋
  • 스키마가 없음
  • 한번 정의하면 변경 불가능
  • 장애 발생 시 복구 가능
  • 현재는 RDD 비중이 높으나 Dataset이 비중이 늘어나고 있음
DataFrame - Spark 1.3
  • 스키마를 가진 RDD
  • RDB 테이블과 비슷하게 명명된 열로 구성됨
  • RDD 처럼 한번 정의하면 변경 불가능
  • 질의나 API를 통해 데이터를 쉽게 처리 가능
DataSet - Spark 1.6, 2.0
  • Spark 2.0 부터는 DataFrame과 통합되어 강력한 형식의 API와 형식지 지정되지 않은 API를 사용
  • lambda 사용 가능
  • 정적 타이핑 및 런타임 유형이 안전 
  • 저수준의 API를 굳이 사용할 필요가 없으면 DataSet을 권장함

API 차이점

마치며

스파크의 기본 용어 및 개념에 대해서 알아보았다. 

다음에는 구조적 API와 기본연산에 대해서 알아본다. 

 

참고

 

Difference between DataFrame, Dataset, and RDD in Spark

I'm just wondering what is the difference between an RDD and DataFrame (Spark 2.0.0 DataFrame is a mere type alias for Dataset[Row]) in Apache Spark? Can you convert one to the other?

stackoverflow.com

 

A Tale of Three Apache Spark APIs: RDDs vs DataFrames and Datasets

In summation, the choice of when to use RDD or DataFrame and/or Dataset seems obvious. While the former offers you low-level functionality and control, the latter allows custom view and structure, offers high-level and domain specific operations, saves spa

databricks.com

 

A comparison between RDD, DataFrame and Dataset in Spark from a developer’s point of view

APIs in Spark are great and contribute to the awesomeness of Spark. This so helpful framework is used to process big data.

medium.zenika.com

 

Posted by 사용자 피랑이
TAG Spark

댓글을 달아 주세요

[스파크(Spark)] #1. 개요

[스파크(Spark)] #2. 용어 및 개념

[스파크(Spark)] #3. 구조적 API 개요 및 기본 연산

 

빅데이터 처리 분야에서 아파치 스파크(Spark)가 빠르게 확장되고 거의 표준이 되어가고 있다. 

앞으로 대용량 데이터의 가공이나 실시간 처리 및 분석에 필요하다고 판단되어 알아보게 되었다. 

스파크 관련 책 및 공식 문서를 보고 진행하기로 한다. 

등장배경

이전에 CPU 등 하드웨어 성능은 해를 거듭할수록 수치적으로나 체감으로도 눈에 띄게 발전하였다. 보통 2년마다 데스크탑을 조립해서 바꿨을 정도였다. 하지만 2005년쯤부터는 물리적인 한계로 인하여 성능향상은 점점 둔화하게 된다. 이때부터 하드웨어 엔지니어들은 모든 코어가 같은 속도로 동작하는 병렬 CPU 코어를 추가하는 방향으로 선회하였다. 

반면 데이터를 저장하는 비용은 1년마다 약 절반씩 줄고 있고, 웹캠이나 센서 등등 데이터 수집하는 장비 비용도 점점 저렴해지고 있다. 결과적으로 데이터 수집 및 저장 비용은 극히 저렴해졌지만, 데이터를 처리해야 하는 양은 점점 거대화되어 간다.

전통적인 처리 방법으로는 처리가 늦어지고 점점 불가능해짐으로써 새로운 처리 엔진과 프로그래밍 모델이 필요했다. 

이런 문제를 해결하기 위하여 아파치 스파크가 탄생하게 되었다. 

아파치 스파크란?

여러가지 명칭이 있지만 통합 컴퓨팅 엔진으로 정리하면 될 듯 하다. 

  • 클러스터 환경에서 데이터를 병렬 처리하는 라이브러리 집합
  • 분산 클러스터 컴퓨팅 프레임웍
  • 대용량 데이터를 처리하는 인메모리 기반 고속 처리 엔진

철학

철학은 통합과 컴퓨팅 엔진으로 구분된다. 

통합

 

"빅데이터 애플리케이션 개발에 필요한 통합 플랫폼을 제공하자." 가 핵심 목표이다. 

데이터 읽기, SQL 처리, 스트림 처리, 머신러닝까지 다양한 작업을 같은 연산 엔진과 일관성 있는 API로 수행할 수 있도록 설계되었다. 

즉  "스파크 하나로 모든 처리를 마무리하자!" 이런 철학이 스파크의 큰 장점이다.

컴퓨팅 엔진

 

스파크는 영구 저장소 역활은 수행하지 않고 데이터를 연산하는 역활 수행한다. 

즉 "처리에만 집중하자!"

대신 클라우드 스토리지 및 파일시스템(HDFS), Key-Value Store(카산드라), 메시징 서비스(Kafka) 등 다양한 스토리지를 지원한다. 

 

역사

2009년 UC버클리 대학교에서 Spark : Cluster Computing with Working Sets 내용으로 연구가 시작되었고, 2010년 논문 발표로 알려진다. 

  • 2013년 스파크 1.0 발표, 아파치 프로젝트 선정
  • 2014년 스파크 2.0 발표, 아파치 최상위 프로젝트 선정
  • 2019년 스파크 2.3.3 released

1.0 과 2.0 사이에서는 연산처리 성능 개선과 DataSet과 DataFrame API 병합으로 인한 ETL이 주요 초점이었다.

라이브러리

오픈소스 기반이기 때문에 자체 라이브러리 포함 외부라이브러리 지원한다. 

아래 4종류의 자체 라이브러리를 가지고 있고, 자세한 부분은 차차 알아보도록 한다. 

  • Spark SQL
  • Spark Streaming
  • MLlib
  • GraphX 

지원언어

프로그래밍을 지원하는 언어는 Scala, Java, Python, R이다. 

익숙한 Java로 스파크 공부를 진행하려 했으나 코드가 다른 언어보다 길어 Python으로 진행하기로 한다. 

실행환경

실행할 수 있는 환경은 하나의 노드부터, 수천 대의 서버 클러스터까지 가능하다. 

스파크는 인 메모리 기반의 병렬 처리가 특기이므로 클러스터 환경에서 실행하는 것이 유리하다. 

 

아키텍처

 

스파크 아키텍처를 논리적으로 도식화 해보았다. 

  • Storage : 스파크가 연산을 실행해야 할 데이터 저장소 연결
  • Management : 클러스터 실행 환경 관리
  • Engine : RDD, DataFrame, DataSet에 연산을 명령하여 데이터를 처리하는 작업을 수행
  • Library : 스파크 자체 라이브러리
  • Programing : 지원언어

사례

넷플릭스 (Netflix), 야후 (Yahoo), 이베이 (eBay)와 같은 회사에서 8,000개 이상의 노드 클러스터에서 여러 페타바이트의 데이터를 종합적으로 처리하면서 대규모로 스파크를 사용하고 있다. 

마치며

스파크의 기본적인 개요에 대해서 알아보았다. 

다음에는 스파크가 기본 기능에 대해서 살펴본다. 

 

 

Posted by 사용자 피랑이
TAG Spark

댓글을 달아 주세요