플랫폼 개발팀 기술 블로그

지난 Docker : 컨테이너 오케스트레이션 개요 편에서는 한 서비스가 점차 확장되면서 컨테이너 증가에 따른 관리의 필요성과 다수의 컨테이너를 효과적으로 다룰 수 있는 컨테이너 오케스트레이션 툴에 대한 개요를 설명 하였다. 이번 편에서는 도커스웜의 노드 클러스터링 구축과 스웜 로드밸런서의 기능을 확인해보는 실습을 진행하도록 하겠다. 도커스웜의 노드 클러스터링 노드 클러스터링(Node Clustering)의 노드(Node)는 도커스웜에서 물리적 또는 논리적으로 분리 된 독립적인 서버(Server)를 의미하고 클러스터링(Clustering)은 사전적 의미로 뭉치기라는 뜻을 가지고 있다. 즉 노드 클러스터링은 서버의 군집화라고 표현 할 수 있다. 필자는 3개의 노드를 클러스터링 하기 위해 VirtualBox의..

[스파크(Spark)] #1. 개요 [스파크(Spark)] #2. 용어 및 개념 [스파크(Spark)] #3. 구조적 API 개요 및 기본 연산 이번에는 구조적 API의 개요 및 기본 연산에 대해서 알아본다. DataFrame와 Dataset은 둘 다 Row와 Column을 가지는 불변성을 가지는 분산 테이블 형태의 컬렉션이다. Dataset은 JVM 기반이므로 java와 scala를 지원하지만 Python은 지원하지 않는다. python 코드로 검증을 할 예정이므로 DataFrame 기준으로 설명한다. 참고 Spark API 관련 자세한 부분은 Spark Docs를 참고하자. DataFrame을 가공 관련 부분은 pyspark.sql 모듈을 사용한다. Python Docs SparkSession Spa..