플랫폼 개발팀 기술 블로그

지난 Docker : Dockerfile 편에서는 도커파일의 개념 설명과 도커파일의 생성, 그리고 도커파일을 이용하여 이미지를 만들고 컨테이너를 실행하여 아파치에 접근해보는 간단한 실습을 진행 하였다. 이번 시간에는 도커를 이용하여 Jenkins Slave Node를 생성하여 빌드해보는 실습을 진행 해보고 이 과정을 도커파일로 만들어보도록 하겠다. Jenkins 분산빌드환경 서버의 자원이 한정된가난한 상태에서 다수의 사람들이 Jenkins(이하 젠킨스)를 통해 빌드를 하다보면 점점 빌드가 잦아지고 결국 빌드를 대기하는 일종의 빌드 병목현상이 발생한다. 게다가 몸집이 큰 프로젝트 파일을 빌드하기 위해서 상당한 시간이 소요되는 경우도 있어서 빌드를 기다리기보다 수동빌드를 하는게 더 나은 상황이 발생 할 수 ..

아마... 아래 그림은 한번쯤은 본 적이 있을 겁니다. 개개인의 서로 다른 재능을 무시한채, 획일적인 기준으로 평가하는 문제를 풍자하는 그림인데요.. "공정한 선발을 위해 같은 시험을 봐야 합니다: 모두 저 나무에 올라 가세요" (말풍선) "모두가 천재다. 그러나 나무에 오르는 능력으로 물고기를 판단한다면, 그 물고기는 평생 자신을 멍청하다고 생각하며 살아갈 것이다" - 아인슈타인 이 카툰은 획일적인 교육과 평가에만 의존하는 교육분야의 문제 인식으로 자주 인용되지만, 기업의 경영 전략에도 대입해 볼 수 있다는 생각이 듭니다. 기업의 존재 목적은 수익 창출입니다. 모든 기업은 수익을 창출하기 위해 다른 기업과는 차별화된 재화나 서비스를 시장에 공급합니다. 이러한 수익 창출 과정에서 주어진 자원을 최대한 효..

Data Cleaning and Text PreprocessingPermalink기계가 텍스트를 이해할 수 있도록 텍스트를 정제하고 신호와 소음을 구분하여 아웃라이어 데이터로 인한 오버피팅을 방지하기 위해서는 다음과 같은 처리를 해주어야 한다.HTML 태그, 특수문자, 이모티콘 처리토근화(Tokenization) : 문장의 단어를 분리하는 단계불용어(Stopword) 제거 : 자주 등장하지만 특별한 의미를 갖지 않는 단어 제거어간 추출(Stemming) 및 음소표기법(Lemmatization)정규 표현식텍스트 데이터 전처리 이해 정규화 normalization (입니닼ㅋㅋ -> 입니다 ㅋㅋ, 샤릉해 -> 사랑해) 한국어를 처리하는 예시입니닼ㅋㅋㅋㅋㅋ -> 한국어를 처리하는 예시입니다 ㅋㅋ 토큰화 toke..

카프카(Kafka)의 이해카프카(Kafka) 설치 및 클러스터 구성[카프카(Kafka) 어플리케이션 제작 ] #1. 프로듀서[카프카(Kafka) 어플리케이션 제작 ] #2. 컨슈머 이전 글에서는 프로듀서 내부 동작 확인 및 어플리케이션을 제작하였다. 이번에는 컨슈머 어플리케이션을 제작해본다. 컨슈머 카프카 컨슈머 내부 동작 및 컨슈머 어플리케이션에서 메시지 소비하는 과정을 알아보자. 컨슈머 내부 동작컨슈머의 전체적인 내부 동작을 이해하면 컨슈머 어플리케이션을 디버깅할 때 도움이 많이 되며, 올바른 결정을 하도록 도와준다. 카프카 컨슈머의 역활 토픽 구독컨슈머 동작의 시작은 토픽의 구독임 오프셋 위치카프카는 다른 큐와는 다르게 메시지 오프셋을 저장 안함오프셋은 각자의 컨슈머들이 유지해야함(컨슈머 API를 ..

아주 작은 시스템을 개발할 때는 API들이 약간 엉켜 있어도 문제가 생겼을때 원인을 찾는데 어렵지 않을 것이다.하지만 시스템이 커지고 복잡 하다면, 서로의 인터페이스를 잘 정돈하고 관리하는 것이 중요해진다. 구글이나 페이스북 등 큰 기업들은 잘 정돈하고자 그들만의 REST API 가이드라인을 가지고 있다. https://cloud.google.com/apis/design/resources?hl=ko 나는 여러 개발자들과 함께 REST API 개발을 담당하게 되었다. 그래서, 구체적인 개발을 시작 하기 전에 사내 REST API 디자인 가이드를 만들어야겠다고 마음을 먹었다. 가이드라인을 만들고 이것을 참고해 반년 정도 개발-운영을 했다. 처음 가이드라인을 만들때 했던 고민과 챙겨야할 것들, 그리고 가이드라..

지금까지 IT업계에 20년 가까이 일을 하면서, 많은 팀을 겪어 왔습니다. 역할로는 팀원에서부터 파트장, 팀장까지 다양하게 경험을 해왔으며 현재도 진행중이지요. 팀과 프로젝트를 리딩한 경험도 다양한데, 팀의 규모로는 3명에서부터 20명이 넘는 팀을 리딩해 본 경험이 있습니다. 또한 경험해 온 환경도 무지 다양한데, 여러 회사의 다양한 팀 구조와 문화를 체험했습니다. 인터넷 컨텐츠 회사에서 부터, 게임회사, 대기업 SI 등의 서로 다른 조직 문화에서 일을 해왔으며, 팀의 조직화 특성으로는 보통의 기능조직 성격의 팀에서부터 프로젝트에 특화되어 구성된 TFT(Task Force Team)까지 겪어 봤습니다. 지금까지 제가 겪어온 팀들은 제각각 다른 특성들이 있었지만, 결국 사람이 모여서 일을 하는 것입니다. ..

자연어 처리(natural language processing)는 인간의 언어 현상을 기계적으로 분석해서 컴퓨터가 이해할 수 있는 형태로 만드는 자연 언어 이해 혹은 그러한 형태를 다시 인간이 이해할 수 있는 언어로 표현하는 제반 기술을 의미한다. (위키피디아)간단하게 말하면, 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일 이라고 생각하면 될 것 같다.텍스트Permalink기계학습 모델을 만들기 위해서는 데이터를 모델에 맞게 변형시켜 주어야 한다. 알고리즘에서 텍스트를 그대로 받아들일수 없기 때문에 받아들일 수 있는 어떤 숫자값으로 변환을 해주어야 한다. 하지만 텍스트는 일단 언어가 제각기 다르기 떄문에 텍스트 자체를 어떻게 숫자화 할지 부터 시작해야한다.그럼 어떤 방법들이 있는지 살펴보자..

Dockerfile 개요 지금까지 도커 이미지를 내려받아 컨테이너를 생성하고 아파치를 설치 후 도커 컨테이너에 접근하는 실습 과정과 아파치가 설치 된 상태까지의 컨테이너를 이미지화하는 내용을 학습하였다. // 우분투 이미지 다운로드 # docker pull ubuntu:14.04 // 도커 컨테이너 생성 # docker create -i -t --name -p 80:80 ubuntutest docker.io/ubuntu:14:04 b0c51e1ead4b1e4234537ec00394837144ce83f64c2d3c2e1eb7cbabcec8af41 // 컨테이너 활성화 # docker start ubuntutest // 컨테이너 접근 # docker attach ubuntutest // 패키지 업데이트 # ..