일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- 스케일 큐브
- 웹보안
- bag of words
- 알림무시
- 파이어베이스
- Slack File Upload
- 슬랙 파일업로드 제한
- 팀 발달 모델
- 해킹
- Scouter
- kafka
- 카프카 성능
- 코어/컨텍스트
- 머신러닝
- 이미지 푸시
- n-gram
- Slack Limit
- Spark
- 스카우터
- Core/Context
- 카프카
- Rate Limit
- firebase
- Slack Rate Limit
- 슬랙
- Scale Cube
- Tuckman
- 슬랙 파일업로드
- 자연어처리 #konlpy #형태소분석
- FCM
- Today
- Total
목록2019/04 (8)
플랫폼 개발팀 기술 블로그
컨테이너 오케스트레이션 개요 도커 컨테이너의 갯수가 꾸준히 늘어나면 필요한 자원도 지속적으로 늘어나기 마련이다 때문에 서버 또한 여러대로 늘어날 수 있는데 한대 두대의 수준이 아니라 몇 십 몇 백대의 서버로 늘어났다고 가정 해보자 이 많은 서버들을 일일이 접근하여 명령어 날려주고 컨테이너 올리고 "어? 이건 또 왜 내려갔어?" 하다가 시간은 시간대로 흘러버리고 정신을 차려보면 라꾸라꾸 침대가 본인 의자옆에 있는것을 발견 할 수 있을것이다. 결론적으로 이 많은 서버들과 컨테이너를 소수의 인원으로 관리하기에는 상당히 어렵고 이 문제를 효율적으로 관리하기 위해 컨테이너 오케스트레이션 툴들이 나오게 되었다. 컨테이너 오케스트레이션 툴 소개 컨테이너 오케스트레이션 툴의 기능에는 단순 컨테이너의 배포 뿐만이 아닌 ..
외부에서 제작한 회의실 예약을 관리하는 서비스를 사용중이다. 이 서비스에서 예약한 회의 30분 전에 회의 참가자들에게 알림을 주고 싶다는 요구사항이 생겼다. 외부에서 제작한 서비스이기 때문에 직접 서비스에 기능을 추가할 수 없는 상황이었다. 다만 서비스에서 회의실 예약 정보를 저장하고 있는 DB의 테이블과 자료의 형식은 알고있었다. 그래서 해당 테이블을 감시하면서 다가온 회의실 예약에 대해 알림을 제공하는 프로그램을 만들기로 하였다. 예약 정보는 DB에서 가져왔지만, 이걸 알림을 주려면 뭘로 해야할지 고민이 되었다. 쉽게는 텔레그램 같은 메신저로 보내도 되고, 사내에서 사용하는 로켓챗을 이용해도 된다. 여러가지를 고민하다가 구글캘린더에 일정으로 등록해주면 이 예약정보를 다양하게 활용이 가능하겠다는 생각을..
자연어 처리에서 각 언어마다 모두 특징이 다르기 때문에 동일한 방법을 사용하기는 어려울 것이다. 한글에도 NLTK나 Spacy 같은 도구를 사용할 수 있으면 좋겠지만 언어 특성상 영어를 위한 도구를 사용하기에는 적합하지 않다. 하지만 많은 사람들의 노력으로 개발된 한글 자연어 처리를 돕는 훌륭한 도구를 사용할 수있다. 그중 한글 자연어 처리에 많이 사용하는 파이썬 라이브버리 KoNLPy에 대해 알아보겠다. KoNLPy는 한글 자연어 처리를 쉽고 간결하게 처리할 수 있도록 만들어진 오픈소스 라이브러리다. 또한 국내에 이미 만들어져 사용되고 있는 여러 형태소 분석기를 사용할 수 있게 허용한다. 일반적인 어절 단위에 대한 토크나이징은 NLTK로 충분히 해결할 수 있으므로 형태소 단위에 대한 토크나이징에 대해 ..
지난 도커파일 편에서 원하는 기능이 담긴 이미지를 손쉽게 만들 수 있는 도커파일의 작성방법과 이미지 생성, 컨테이너 생성 실습을 진행 했었다. 이번 Docker Compose(이하 도커 컴포즈) 편 에서는 도커 컴포즈의 개요와 YAML파일의 작성 및 실습을 진행 해보도록 하겠다. Docker Compose 개요 웹서버 기능을 하는 어플리케이션이 있다고 가정 해보자 여기에는 DB와 Web Server가 필요하고 이것을 각각의 컨테이너로 나누었다. 제대로 동작 하는지 확인 해보기 위해서는 각 컨테이너들을 실행 시켜야 하는데 docker run 명령어를 이용하여 컨테이너를 생성하려면 두 번의 run 명령어 입력이 필요하다. 컨테이너를 가끔 생성하는 경우라면 괜찮겠지만 컨테이너의 생성빈도가 높고 실행 시켜야하는..
사내에서 출입관리시스템으로 세콤을 사용하고 있다. 세콤에서 지급한 카드를 태그하면 출입문이 열리는 식이다. 출입문 옆에는 세콤의 단말기가 있고 여기에 카드를 태그하면 사내에 있는 세콤 서버에 태그정보가 저장이 된다. 세콤에서 제공하는 전용프로그램으로 이 세콤 서버에 접속을 하면 출입기록을 조회할 수 있다. 이 태그 기록을 이용하면 직원들의 근태기록을 관리할 수 없을까 하는 생각을 했다. 그래서 다른곳에서는 어떻게 사용하는지 검색해보았다. 찾아보니 유료로 제공되는 솔루션들이 많았다. 상용 그룹웨어 대부분에서 세콤의 출입기록과 근태관리 시스템의 연동을 지원하고 있었다. 하지만 여러가지 이유로 연동을 직접 구축 하기로 정하였다. 근태정보 파일 가져오기 세콤에서는 출입기록을 어디에 남기는지 찾아보았다. 세콤 서..
최근접 이웃법은 새로운 데이터를 입력받았을 때 가장 가까이 있는 것이 무엇이냐를 중심으로 새로운 데이터의 종류를 정해주는 알고리즘이다. 그림에서 보는것 처럼 기존 데이터가 파랑색과 주황색으로 데이터가 분류되었다고 한다면 물음표 데이터가 들어왔을때 이 데이터는 어떤 색상으로 분류가 되어야 할까? 최근접 이웃법 말그대로 가까운 것에 따른 분류이기 때문에 주황색으로 분류 할 것이다 . 정말 간단하고 직관적인 알고리즘 이다. 하지만 단순히 가장 가까이에 있는 것으로 분류를 하는것이 문제가 되는 경우도 있다. 다음의 경우를 살펴 보자. 이번에는 문제가 약간 복잡해 진다. 이론대로 라면 가장 가까운 것은 파란색이기 때문에 파란색으로 분류를 해야 할것 같지만, 주변을 보면 대부분 주황색이 보인다. 왠지.. 파랑색으로..
[스파크(Spark)] #1. 개요 [스파크(Spark)] #2. 용어 및 개념 [스파크(Spark)] #3. 구조적 API 개요 및 기본 연산 빅데이터 처리 분야에서 아파치 스파크(Spark)가 빠르게 확장되고 거의 표준이 되어가고 있다. 앞으로 대용량 데이터의 가공이나 실시간 처리 및 분석에 필요하다고 판단되어 알아보게 되었다. 스파크 관련 책 및 공식 문서를 보고 진행하기로 한다. 등장배경 이전에 CPU 등 하드웨어 성능은 해를 거듭할수록 수치적으로나 체감으로도 눈에 띄게 발전하였다. 보통 2년마다 데스크탑을 조립해서 바꿨을 정도였다. 하지만 2005년쯤부터는 물리적인 한계로 인하여 성능향상은 점점 둔화하게 된다. 이때부터 하드웨어 엔지니어들은 모든 코어가 같은 속도로 동작하는 병렬 CPU 코어를 ..
변화경영연구소의 소장이셨던 고 구본형 선생의 유명한 책인 '익숙한 것과의 결별'에서는 다음과 같은 내용이 있다. 비전을 제대로 이해하기 위해서는 건축물을 연상하는 것이 가장 완벽한 동질성을 부여한다. 비전은 '미래의 설계도'라고 말하는 사람들이 많다. 그러나 나는 그 생각에 강하게 반대한다. 그것을 설계도라고 해석하는 데서부터 많은 오류가 발생한다는 것을 알고 있기 때문이다. 설계도는 전문가들을 위한 것이다. 보통 사람은 설계도를 보고 그 건물의 전체적 모습을 떠올릴 수 없다. 그것은 판독하기 어려운 수치와 기호일 뿐이다. 비전은 이해관계자 모두가 쉽게 그 모습을 머릿속에 떠올릴 수 있어야 하며, 그 모습의 아름다움 때문에 마음이 설레야 한다. 따라서 비전은 오히려 건물의 조감도와 흡사하다. 건물의 유려..