aws premier night #2 in osaka『amazon elasticsearch serviceのおもしろい使い方』
TRANSCRIPT
クラウドで、世界を、もっと、はたらきやすく Copyright © Serverworks Co.,Ltd. All Rights Reserved. http://www.serverworks.co.jp
Amazon Elasticsearch Serviceのおもしろい使いかた
AWS Premier Night #2 in Osaka
2016/09/16
株式会社サーバーワークス
クラウドインテグレーション部
小林 孝剛
Page: 2Copyright © Serverworks Co.,Ltd. All Rights Reserved.
クラウドインテグレーション部技術1課
ソリューションアーキテクト
@koba_taka
takayoshi.kobayashi.16
株式会社サーバーワークス
Takayoshi Kobayashi
#awspremier
Page: 3Copyright © Serverworks Co.,Ltd. All Rights Reserved.
クラウドインテグレーション部技術1課法人営業課ソリューションアーキテクト
@koba_taka
takayoshi.kobayashi.16
株式会社サーバーワークス
Takayoshi Kobayashi
#awspremier
Page: 4Copyright © Serverworks Co.,Ltd. All Rights Reserved.
サーバーワークスとは？
#awspremier
Page: 5Copyright © Serverworks Co.,Ltd. All Rights Reserved.
サーバーワークスとは？
#awspremier
Page: 6Copyright © Serverworks Co.,Ltd. All Rights Reserved.
サーバーワークスとは？
後ほど採用LTがあるので、割愛します
#awspremier
Page: 7Copyright © Serverworks Co.,Ltd. All Rights Reserved.
サーバーワークスとは？
大阪オフィス移転
しました!!
#awspremier
Page: 8Copyright © Serverworks Co.,Ltd. All Rights Reserved.
サーバーワークスとは？
大阪オフィス 直近3ヶ月
6月末
新大阪を飛び出す
7月-8月
江坂コワーキング
9月1日-15日
オフィスなし
#awspremier
Page: 9Copyright © Serverworks Co.,Ltd. All Rights Reserved.
サーバーワークスとは？
大阪オフィス
#awspremier
Page: 10Copyright © Serverworks Co.,Ltd. All Rights Reserved.
サーバーワークスとは？
チラッと寄ってお仕事、
冷やかし大歓迎！！
#awspremier
Contents
Page: 11Copyright © Serverworks Co.,Ltd. All Rights Reserved.
Part 検索とは？1
Amazon Elasticsearchについて
おもしろい使い方
part 2part 3
#awspremier
Page: 12Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
検索とは？
検索っていつからの技術？
検索エンジンの役割？
目的は？
Original by https://www.flickr.com/photos/48710226@N03/4495752468/
Page: 13Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
Archie
1990年
世界で最初の検索エンジン
FTPサーバーが提供するファイル名の索引を作成・検索
検索とは？
検索の歴史
Page: 14Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
30年経っていない
検索とは？
検索の歴史
Page: 15Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
検索とは？
検索の歴史
1993 1994 1998
1994 1996 2009
Page: 16Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
Apache Lucene/Solr
Elasticsearch
検索とは？
オープンソース検索エンジンの登場
Page: 17Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
知りたい情報へのアクセス
ユーザによって知りたい情報はさまざま
• たとえば..
• Facebookで気になるあの人を探すのも検索
• おいしいお店を探すのも検索
検索とは？
検索エンジンの役割
Page: 18Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
集まった情報
インデックス
解析
スコアリング
サジェスト
検索とは？
検索エンジンの役割
欲しい情報にアクセス
Page: 19Copyright © Serverworks Co.,Ltd. All Rights Reserved.
Amazon Elasticsearh Service
#awspremier
Page: 20Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
検索エンジン
マネージドサービス
構築が簡単
従量課金
Amazon Elasticsearch Service？
Amazon Elasticsearch Service
Page: 21Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
Elasticsearch
Logstash
Kibana
Kuromoji/ICU
管理が容易
Amazon Elasticsearch Service？
Amazon Elasticsearch Service
Page: 22Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
Amazon Elasticsearch Service？
Amazon Elasticsearch Service
検索エンジン
ログ取込み連携
可視化
日本語対応
マネージメントコンソール
Page: 23Copyright © Serverworks Co.,Ltd. All Rights Reserved.
おもしろい使い方
#awspremier
Page: 24Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
ログをKibanaで可視化
CloudTrail
Apacheログをfluentdで
おもしろい使い方
あるあるシーン
Page: 25Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
おもしろい使い方
本日は検索エンジン部分をご紹介
Page: 26Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
本日、ご紹介するのは…
おもしろい使い方
Page: 27Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
More Like This Query
おもしろい使い方
Page: 28Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
類似文章検索
同じ単語(語)を多く含む文章は類似
重要語を選出
More Like This Query
おもしろい使い方
Page: 29Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
More Like This Query
大石内蔵助は切腹した 大石良は切腹しない
大石内蔵助は切腹した 大石良は切腹しない
文章内に同じターム(語)が含まれているか
おもしろい使い方
Page: 30Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
ロジック説明(重要語の選出方法)
ターム(語)のスコアを計算
スコア順にタームを並べて重要語を選出
ORクエリを作成し、検索
More Like This Query
おもしろい使い方
Page: 31Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
Indexの作成"term_vectors" => "yes”
More Like This Query
おもしろい使い方
Page: 32Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
検索
More Like This Query
フィールド
文書ID
パラメータ
おもしろい使い方
Page: 33Copyright © Serverworks Co.,Ltd. All Rights Reserved.
デモ
#awspremier
Page: 34Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
デモ
今回、3社合同ということで…
Page: 35Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
デモ
Page: 36Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
デモ
Developers.IO お借りします
Page: 37Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
デモ
Developers.IO掲載のブログ記事 タイトルとコンテンツをAmazon ESに格納
More like This Queryを利用類似記事を検索
デモ
Page: 38Copyright © Serverworks Co.,Ltd. All Rights Reserved. #awspremier
検索エンジンはこれからもっと進化する (ハズ
Amazon ESで検索エンジンが気軽に・身近に
簡単に(簡易な)類似予測を実装可能
まとめ
まとめ
検索エンジンで知りたい情報をもっと便利に
Thank you
Page: 39Copyright © Serverworks Co.,Ltd. All Rights Reserved.
ありがとうございました
#awspremier