第４回solr勉強会 si向けパッケージ製品でのsolr利用と事例紹介
TRANSCRIPT
SI向けパッケージ製品でのSolr利用 と 事例紹介
（株）NTTデータ イントラマート （籍）エンタープライズソリューション本部 （席）プロダクトディベロップメント本部
清 彰宏 ／ @seikun
1
ちょっとだけ会社紹介Solrを利用した製品の話SIでの事例と苦労話しめ
あじぇんだ
2
（株）NTTデータ イントラマートSI向け開発基盤パッケージ製品の「intra-mart」と、その上で動くアプリケーションの、 開発 ＆ 販売 ＆ 導入サポートなんかをやってご飯を食べてます。
ちょっとだけ会社紹介
3
以上
ちょっとだけ会社紹介
4
すみません、素敵なTシャツとか配れません。
すみません、パンフレットとかも正直需要がないと思い持ってきてません。
すみません、社長すみません。
会社紹介の謝辞
5
ちょっと製品紹介
6
intra-mart上で動作する、
IM-ContentsSearch（あいえむ-こんてんつさーち）
なる製品を販売しております。というか、intra-martをインストールすると標準で使えます。（Solrは別でセットアップ）
Solrを利用した製品の話
7
ちなみにこの製品のコアAPIは、「cmecab-java」の開発者で、「Apache Solr入門」の著者の１人の、
武田さん が作成したライブラリを使用しています。
Solrを利用した製品の話
8
その前に、intra-mart をちょっと紹介
9
・ユーザ管理系のマスタとAPI
・権限管理系のマスタとAPI（会社、組織、役職、グループ、ロール）
・メニュー＆ポートレット管理・簡易バッチ機能・ワークフロー＆BPMエンジン etc...
提供している機能
10
1. jdkをインストールして2. DBを用意して3. intra-martをインストールして4. もろもろの設定を済ませて5. intra-martを起動すると
セットアップ方法
11
こんな画面が出ます。
12
ちょっと自慢できるところ。
ちまたで流行りのServer Side JavaScript を、
割と以前（約12年前）から採用。
※ JavaScriptエンジンは昔iPlanet, 今Rhino
13
あと intra-mart 上で動くグループウェアとして、
Intranet Start Pack（通称：スタパ）
とかも提供しております。スケジュール・掲示板・会議室・ブログ・ 文書管理・WebMail・コミュニティ・住所録
14
営業に見られたら怒られるレベルの
intra-mart の紹介以上
15
IM-ContentsSearchの紹介
16
ワークフロースケジュールブログ掲示板文書管理 etc
IM-ContentsSearchって？
17
→ 全文検索コンテンツ内容
＆添付ファイル
業務データのクローラ作成
IM-ContentsSearchって？
18
→ 全文検索コンテンツ内容
＆添付ファイル
・グループウェア ・ワークフロー ・業務アプリ
を同時に全文検索。
コアは１つだけ
19
こんな検索画面です。
20
Solrの利用について
21
Solr 1.3 cmecab-java
利用しているモノ
22
・形態素解析フィールド<tokenizer
class=”xxx.StandardMeCabTokenizerFactory” charset=”utf-8”
/>
専用スキーマを設定
23
・コンテンツタイプフィールド<field name=”type” type=”string”
indexed=”true” stored=”true” multiValued=”true” />
※ ただの文字列配列フィールド。
専用スキーマを設定
24
・参照許可・不許可フィールド<field name=”sids_allowd” type=”string”
indexed=”true” stored=”true” multiValued=”true” />
<field name=”sids_denied” type=”string”indexed=”true” stored=”true” multiValued=”true” />
※ ただの（略）。
専用スキーマを設定
25
参照許可・不許可フィールド
をフィルタクエリで検索
→ 検索結果は参照権限がある情報のみ
参照権限チェック
26
営業に見られたら怒られるレベルの
IM-ContentsSearch の紹介以上
27
事例紹介
28
某食品会社様 曰く
社内の共有ファイル3TBを、社内システム（intra-mart）から全文検索したい。
こんなことやりました
29
当時、技術コンサル担当の私
「Solrという最新のごにょごにょ」
「エンタープライズでの利用はかなり先駆的でごにょごにょ」
頑張って口説いた
30
情報システム部門の偉い人
「やりましょう！」
落とした
31
Solrで開発したかった！もちろん有用なシステムです。
正直なところ
32
これが苦しい道のりの始まりだった・・・。
しかし…
33
Solrの設定
34
Tomcat 6.xcmecab-java-1.3jcifs-1.3.14jvm：-Xmx,-Xms 12G他はfessを参考にチューニング
基本的な設定など
35
お客様からの要望で、 定期的にipadicの ユーザ辞書を更新内容：品番・品名・特殊な略称
形態素解析
36
ActiveDirectoryとの権限情報連携
37
1. jcifsで接続し権限情報を取得2. intra-martのグループに専用ツリーを作成。
3.ADの権限をバッチで同期4.検索クエリに反映される
ActiveDirectory連携
38
クローラ
39
マルチスレッドなクローラマルチスレッドプログラミングが
初めてなので楽しかった。
独自でクローラを開発
40
内蔵h2dbによるクロールキュー管理
独自でクローラを開発
41
索引化対象ファイルの詳細な設定が可能
独自でクローラを開発
42
ちょっと自信作
43
エヘヘっ
受注したが人がいないため、結局ほぼ自分１人で作成。結果、納期パツパツでS2Robotなどの技術調査が出来ず。
SIだと良くある話(?)
独自で作った理由
44
ここまでは良かった
45
ここからはホントにあったネタ話
ふと疑問に思った私
「そうそう、データセンターのLANってGbitですよね？」PMさらっと
「いや、L2は100Mbit。」
ある日のPMとの会話
46
「でも関係ないじゃん。共有ディスクはデータセンターにない
し。」
PMこう続ける
47
私
「ほわっちゃ？」（注：What’s?のつもり）
しばし沈黙の後・・・。
48
「今回対象とする共有ファイルって、全国の各拠点にある
んだよ。」
PMさらにこう続ける
49
少し冷静を装った私
「それじゃデータセンターの外向きの帯域は？」
50
さらに沈黙の後・・・。
15Mbpsだよ
51
「・・・。」
52
某食品会社様 曰く
社内の共有ファイル3TBを、社内システム（intra-mart）から全文検索したい。
少し回想
53
社内の共有ファイル3TB
少し回想
54
3TB（さんてらばいと）
少し回想
55
3TB / 15Mbps= 1677722 (sec)
1677722 / (24 * 60 * 60)≒ 19.42 (day)
計算してみた。
56
「全ファイル索引化に、 帯域全部使い果たして、
20日ほど かかります（笑）。」
PMに相談
57
「・・・。」
58
第２回Solr勉強会直前のことでした
59
なんとかした
60
100MB以上のファイル
サイズでは全体の40%文書数では全体の 2%
対象ファイルの絞り込み
61
100MB以上のファイル
対象外！
対象ファイルの絞り込み
62
お客様のラップトップで本社に潜入してクロール！！
現地でのクローリング
63
お客様のラップトップで本社に潜入してクロール！！
1.2 / 1.8 TB
現地でのクローリング
64
600GB / 15Mbps= 327680 (sec)
327680 / (24 * 60 * 60)≒ 3.79 (day)
残りを計算してみた。
65
これなら初期移行できる！
66
無事初期移行を終えて、カットオーバーを迎えました。
結果
67
本番運用開始から５ヶ月経過
そろそろ検索結果について要求が出てくるかとビクビク
これから
68
事例紹介 以上
69
しめ
70
社内用語（商品名、品番、略称）があり辞書の拡張（形態素解析前提）が必要
SIにおけるSolr利用
71
ソリューション化しないと学習コストが高くなりがち。
SIにおけるSolr利用
72
様々な業務情報を１つのスキーマで利用したいシーンが多い（と思う）ので、
汎用的なスキーマ定義が必要になる。 例：dynamicFieldの多用など。
SIにおけるSolr利用
73
でも、求められる
スループットや応答時間は、検索サービスと比較すると低い。
SIにおけるSolr利用
74
最後に
75
IM-ContentsSearchを、
Solr 1.4.1に対応させる予定です。
製品のバージョンアップ
76
なので、次回予告
77
Solr1.3から1.4への移行～イントラマートの場合～
78
ご清聴ありがとう ございました。
79