1

주요행사공지

2017-08-10Elasticsearch Seoul Meetup

2

Elasticsearch Core Treininghttps://training.elastic.co

3

Seoul Tour: December 12, 2017

4

Elastic{ON} 2018 User Conference

March 7-9 2017San Francisco

• 3,000 attendees

• 75+ technical talks

• Product roadmap

• Cause Awards

5

김종민Evangelist @ Elastic

사전설문조사리뷰

6

사전설문응답내용2017년 8월 9일 (D-1) 오후 3:00 기준 – 총 186 참여

7

사전설문응답내용2017년 8월 9일 (D-1) 오후 3:00 기준 – 총 186 참여

8

사전설문응답내용2017년 8월 9일 (D-1) 오후 3:00 기준 – 총 186 참여

9

사전설문응답내용2017년 8월 9일 (D-1) 오후 3:00 기준 – 총 186 참여

10

질문 - 발표자에게• 공통

‒ Es analyzer 최적화문제

‒ Elastic 제품사용시가장불편했던것

• 우종욱:‒ 선거데이터분석의경우실시간으로들어오는데이터를잘수집해야되는데데이터수집에필요한기술

‒ 선거데이터분석에 X-PACK 적용시데이터활용방안

• 허정수:‒ 허정수님께엘라스틱서치와스파크의연동작업중주의해야할사항또는같이사용했을때의시너지효과에대해묻고싶습니다

11

질문 – General• 특별히없습니다.

• 항상잘듣고있습니다

• 아직알아가는단계라당일날발표를듣고질문이있으면하도록하겠습니다.

• 이번밋업을통해많이배우고연구하여다음번밋업에서질문많이하겠습니다.

• 이제막접하는입장이라많이배우겠습니다.

등등…

12

질문 – 시작• 처음시작할때많이실수하는부분. 중점적으로봐야하는부분이궁금합니다.

‒ Elastic 홈페이지: https://www.elastic.co/kr/‒ 각종 Elasticsearch 서적 – “시작하세요엘라스틱서치” 개정판은… 아직미정.‒ 허광남님 OKDEVTV - https://okdevtv.com/mib/elk/elk5‒ 허민석님인프런강좌 - https://www.inflearn.com/course/elk-스택-데이터-분석/

13

질문 – 설치 / 관리• 기본패키지형태로한번에설치가능한방법은없을까요 ? (확장성이강점이긴하지만 )

‒ https://www.elastic.co/guide/en/elasticsearch/reference/5.5/install-elasticsearch.html‒ MSI, RPM, DEB‒ Docker: https://www.elastic.co/guide/en/elasticsearch/reference/5.5/docker.html‒ Puppet, Chef, Ansible

• 한서버에다수의 ES node 관리할경우팁이있으면알려주세요.‒ X-Pack Monitoring‒ Elastic Cloud Enterprice: https://www.elastic.co/kr/blog/manage-and-monitor-elasticsearch-

clusters-at-scale-on-any-infrastructure

• 은전한닢한글형태소윈도우에서설치하는방법을알고싶어요.‒ 저희가정식으로지원하는게아니라서... 해당커뮤니티에문의부탁드립니다.

14

질문 – 사용사례• 적용사례및활용방안에대해들어보고싶습니다

• elastic 의응용사례는어떤것이있는지‒ https://www.elastic.co/kr/use-cases

• 어디에가장많이쓰이는가요?‒ 검색, 로그분석, 분석등다양하게쓰입니다. 가장많은사례는로그분석입니다.

15

질문 - 비교• Elastic Stack과유사한제품같은것에는어떤것들이있는지요? 있다면그런것들과비교해서 Elastic Stack이갖는장단점이궁금합니다.

‒ 검색: Solr, … - 대용량클러스터링용이.‒ 로그분석: Splunk, …‒ 분석: Hadoop Echosystem – 설치및관리용이

• Elasticsearch 설치후확장방법 & Amazon의 AWS에서의 Elasticsearch와다른점은무엇인가? (그리고왜다른지?)

‒ AWS ES 는 AWS에서 Elastic Stack을내장하여만든자체적으로서비스하는제품

‒ AWS ES 와관련하여 Elastic 은아무런비즈니스이해관계가없습니다.‒ Elastic Cloud 에는 X-Pack 이포함됩니다.‒ 더자세한내용은블로그에 - https://www.elastic.co/kr/blog/hosted-elasticsearch-services-

roundup-elastic-cloud-and-amazon-elasticsearch-service

16

질문 - 기능• 실사용시부하이슈는없었는지

‒ 자주있습니다.

• 머신러닝관련기능추가여부‒ X-Pack 에있습니다. Anomaly detection 에특화되어있습니다.

• 최근관련제품과연결되는딥러닝관련사례를알려주세요.‒ 딥러닝은 Elastic machine learning 에서다루는건아닙니다.‒ 최근 Elasticsearch 로챗봇만들기라는발표가일본밋업에서있었습니다.

https://www.slideshare.net/takahitotakabayashi/elasticsearchbot

• SparkFlows와연동을더편하게끔 API가나오나요?‒ Elastic-hadoop 제품을사용해보세요: https://www.elastic.co/kr/products/hadoop

17

질문 - 적용• index가변하지않는상황에서 ES클러스터구성과 standalone 여러대를구성해서사용할때성능차이가있나요?(서버수동일)

‒ 이론적으로는차이가없겠지만, 해봐야알것같습니다.

• 성능지표를모니터링하는가장간단하고쉬운방법및주요지표‒ Metricbeat 을활용해보시기바랍니다: https://www.elastic.co/kr/products/beats/metricbeat

• 여러네트워크장비와다양한보안솔루션로그에서보안점검시나리오를설정하여검색, 조회하고자합니다. 아키텍쳐디자인에대하여조언부탁드립니다

‒ 다음장에.

18

Common Architecture of Elastic Stack

Beats

Log Files Metrics

Wire Data your(beat)

Datastore

Social

Web APIs

Sensors

Kafka

Redis

MessagingQueue

Nodes (X)

Hadoop Ecosystem

Logstash

Elasticsearch

Kibana

X-pack

Custom UI

Authentication Notification

X-pack

ES-HadoopLDAP AD SSO

Instances (X)

Master Nodes (3)

Ingest Nodes (X)

Data Nodes - Hot (X)

Data Nodes - Warm (X)

19

질문 - 계획• 차후업데이트하는부분이어떤것이있는지

• 엘라스틱의내년기능로드맵이궁급합니다.‒ 로드맵은밋업에서말씀드릴수없습니다. Elastic{on} 발표나깃헙이슈등을참고하세요.

• 김종민 - elastic cloud에서 ml은언제부터사용할수있을까요? 6.0부터는추가된다고들었던것같은데 6.0은언제클라우드에배포될까요?

‒ 정확한날짜는저희도확정할수없습니다.‒ Stack의새로운버전이발표됨과동시에항상 Elastic Cloud 버전도같이업그레이드됩니다

.

20

질문 - ?!?!?!?!?• 엘라스틱의향후미래

• 엘라스틱의무한가능성은?

• Elastic Stack의단점

• 한글형태소분석처리

• 엘라스틱스택의전반적인활용법

• 빅데이터활용과금융데이터관련곳에질문을드리고싶습니다.

• elk스택의확장성과안정성에대한평가를듣고싶습니다.

• Elastic Search 효율적으로 Indexing 및 query, Best Practices

• 어떤데이터를기반으로예측할때, 데이터를선택하는가장효과적인방법은무엇일까요?

21

불편했던점 – 자료• 설명서의한글화

• 검색엔진분야초보자로써, 영어가서툰한국인으로써, 버젼업속도가상당히빠른 Elastic 제품에대한정보를얻고튜토리얼등을따라서진행해보고, 어디까지가무료서비스이고, 어디서부터유료구간인지알아내는데쉽지않았습니다. 관련도서를구매해서팔로업해본다해도버젼업속도를따라가지못하는가운데, 웹사이트의구조나한글화가좀더진행되었으면좋겠습니다

• DB처럼유연하게사용할수있는방법에대한메뉴얼.

• scripted field를사용해보려고하는데관련문서가친절하지않아(예제가없고클래스만설명) 어려움을겪고있습니다ㅠ

• 한글로된가이드문서를좀더많이만들었으면좋겠습니다

22

불편했던점 – 자료• document가 5.x 부터다른부분이있습니다.

• 문서나샘플이더많았으면좋겠습니다.

• 설정부분문서들이부족한것같습니다. 특히, 한글화부분도요.

• ELK가좋다는글은많은데실사용시설정등에대한상세정보찾기는어려움

• x-pack 문서화가부족함‒ 별도로교육을진행하고있습니다.

‒ Get Started 비디오를계속제작중입니다.‒ 번역은시작은했는데진행은많이더딥니다.‒ 도큐먼트번역/감수참여의사가있는분들은알려주세요.

23

불편했던점 – 자료• jar hell 등과같이 elasticsearch 소스코드를수정하거나 contribution 하기위한손쉬운가이드제공을해주시면좋을것같다는생각이듭니다.

‒ https://github.com/elastic/elasticsearch/blob/master/CONTRIBUTING.md‒ https://github.com/elastic/kibana/blob/master/CONTRIBUTING.md

• 버그리포트, 공유커뮤니티가좀더활성화되면좋겠습니다.

• es-hadoop에서 maven을이용하여 library를추가하는방법도있는데, 요부분에대해서더자세한설명이있었으면합니다.

24

불편했던점 – 기능• 형태소분석기의간편화가필요하다

• 형태소분석기의지원 [ 기본 plug-in 으로의제공 ]은가능한가?‒ 라이센스문제때문에어렵습니다.

• 목적이 DB와달라결과검색시 meta 정보끼리 join을지원하지않아우회하거나정보유입시이미병합한상태에서넣어야하는경우가있는데, 어떤방안이있는지궁금합니다.

‒ 처음부터병합한상태로입력하는것이맞습니다.‒ 조인을고집하지않으시는것이좋습니다.

25

불편했던점 – 업데이트, 제안.• 플러그인개발시내부구조가너무자주바뀌는점이불편하네요.

• 버전업이너무빨라요

• 2.x에서 5.x로넘어오면서 root 사용이막힌것‒ Bootstrap Check 가들어가서미연에오류방지를위한것입니다.

• 라이센스의세분화. 상용화버전에대해서좀더다양한옵션이있었으면좋겠다.

‒ 원래 Marvel 등이초기별도라이센스들이있었는데사업시행착오를거쳐모두정리한것입니다.

26

불편했던점 – ?!?!?!?!?!• 머신러닝기능이좀더있어야될거같습니다.

• 키바나가계속더좋게발전되었으면좋겠습니다.

• Kibana 시각화의자유도가조금더높아졌으면좋겠습니다.

• 쉬운설정필요

• Multi-cluster 지원

27

커뮤니티에바라는점 – 모임• 밋업이나작은소모임등이활성화되면좋을것같습니다.

• 자주밋업이있었으면좋겠습니다.

• 이번밋업과같이 Elastic을접해볼수있는교육기회또는관심을가진분들이모여생각을나눌수있는오프라인모임이자주열렸으면좋겠습니다. 저는서울에있지만, 제주도이건, 부산이건모임이생긴다면어디든갑니다.

• 오프라인모임을자주했으면좋겠습니다~

• 1달에 1번밋업을했으면좋겠어요^^

• 좀더많은 meetup 열어주세요. ㅋㅋ

• 실무연계된더많은세미나가있었으면합니다

• 자주세미나를해주셨으면..

28

커뮤니티에바라는점 – 모임• 많은개발자들이 Elasticsearch에흥미를가지고사용해볼수있도록, 많은

conference나밋업참여인원을늘릴수있으면좋겠습니다!

• 좀더이러한기회가많았으면좋겠습니다.

2개월에 한번씩 하고 있는데부족한가요?!?! ;;

29

커뮤니티에바라는점 – 교육• 스터디

‒ 필요하시면스터디모임은직접기획하시면좋겠습니다. 장소나자료등은필요하면도와드리겠습니다.

• 교육이좀더자주있었으면좋겠습니다‒ 현재한국인 Education Engineer 를채용중입니다. 현재는년 1회로하는데수요를봐서내년부터는년 3~4회씩하려고계획중입니다.

• 더많은세미나가있었으면합니다.‒ Lunch & Learn, X-Pack Enablement 등이있습니다. 따로문의부탁드립니다.

• 더욱입문자들을위한강의가필요하다고생각합니다‒ Get Started 비디오등을계속녹화해서올릴예정입니다.

30

커뮤니티에바라는점 – 정보공유• 기술자료가보다많이올라왔으면좋겠습니다

• 기술문서의한글번역본이온라인으로제공되면, 좋을것같습니다. (현재에는일부만제공됨)

• 웹커뮤니티가페이스북만있는것같은데슬랙이나다른채널이있는지궁금합니다.

‒ 페이스북만있다고보셔도무방합니다.‒ 슬랙채널을한번만들었었는데잘운영이되지않아접었습니다.‒ 오픈카톡방을현재만들어만놓고운영하고있지않습니다.

• 이번모임이처음인데, 다음에도종종참여할수있도록홍보가잘되었으면합니다.

‒ 앞으로뉴스레터등도운영계획중입니다.

31

커뮤니티에바라는점 – 정보공유• 자세한적용사례들을많이공유했으면좋겠습니다.

• 실무에적용한경험공유가더욱많아지면좋겠습니다.

• 엘라스틱의사용가능성및범용성을알고싶으며현재사용중에있는서비스들이궁금합니다.

‒ https://www.elastic.co/kr/use-cases

• 영어까막눈이많습니다. 레퍼런스가이드에대한한글화요ㅎㅎ

32

커뮤니티에바라는점 – 감사합니다~😘• 지금도너무잘되고있는것같습니다.

• 엘라스틱서치를알아보고있는단계라질문거리가생각나지않습니다. 온오프믹스에서항상밋업이잦은거같아서활발한커뮤니티라고생각이듭니다. 앞으로도좋은모습으로활동이어가셨으면좋겠어요:) 저같은초보들도쉽게접할수있는부분이되었으면좋겠습니다.

33

Open Source is…• 오픈소스SW를왜돈주고쓰냐고요?

‒ http://www.zdnet.co.kr/news/news_view.asp?artice_id=20160829172128

• 오픈소스가 '공짜라좋다'는말씀그만하셨으면…‒ http://www.zdnet.co.kr/news/news_view.asp?artice_id=20160810173104

34

감사합니다!

35

6.0 is coming

36

Become an Elastic Pioneer

Download 6.0 preview release

Provide feedback via GitHub or Discuss forum

Get limited edition Pioneer swag

1

2

3

37

Elastic Pioneer Program

Download 6.0 preview release (alpha, beta, etc)

Provide feedback via GitHub or Discuss forum

Get limited edition Pioneer swag

1

2

3

We want your feedback!

참고: https://www.elastic.co/blog/elastic-pioneer-program-6-0

38

Elasticsearch

• Zero downtime upgrades – 재시작없는업그레이드가능. UI 도구들도지원.‒Rolling restarts from latest 5.x to 6.x‒Cross-cluster search across major version

• sparse doc value – Doc Value 저장을더효율적으로

• index sorting – 색인단계에서의정렬

• sequence numbers – 모든액션에순번부여. 비동기화/충돌방지.

• Say goodbye to _type confusion – Type 이 deprecated 될예정입니다.(많은분들멘붕하시는소리가들리는군요)

https://www.elastic.co/blog/elasticsearch-6-0-0-beta1-released

39

Elasticsearch - X-Pack 관련

• Watcher UI 개선•디폴트패스워드 (changeme) 삭제. 초기 1회패스워드생성도구를실행해야합니다.

https://www.elastic.co/blog/elasticsearch-6-0-0-beta1-released

40

Kibana

• CSV 다운로드• Dashboard-only 모드• Full-Screen 모드•각종편의성증가• Kuery 쿼리사용가능• X-Pack (Alerting) 설정편의성증가

https://www.elastic.co/blog/kibana-6-0-0-beta1-released

41

Logstash

• LS 가동중에 Pipeline 추가/관리가능• Pipeline Viewer (X-Pack Basic)• Kibana에서 Pipeline 관리(X-Pack Gold 이상)

https://www.elastic.co/blog/logstash-6-0-0-beta1-released

42

Beats

•도커, 쿠버네티스, 그밖의다양한모듈추가• Aditbeat – 사용자들의접속모니터링.

https://www.elastic.co/blog/beats-6-0-0-beta1-released

New Filebeat modulesNew Metricbeat Modules

43

진짜로끝!

감사합니다!