ソフトウェア事業 enterprise content management (ecm) 全 …© 2010 ibm corporation...

51
© 2010 IBM Corporation 20101012日本アイ・ビー・エム株式会社 ソフトウェア事業 Enterprise Content Management (ECM) 全文検索ソリューション OmniFind Enterprise Edition

Upload: others

Post on 16-Sep-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

2010年10月12日

日本アイビーエム株式会社

ソフトウェア事業 Enterprise Content Management (ECM)

全文検索ソリューションOmniFind

Enterprise

Edition

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

2

目次

なぜ企業内検索エンジンが必要なのか

競合分析

OmniFindユースケースndash セキュア環境でのNOTESWindowsファイルシステム横断検索

ndash さまざまなデーターソース横断検索

ndash WebSphere Portal Serverとの統合

ndash カスタマイズもろもろ

IBM OmniFind Enterprise Edition V91 (OEE) ndash ハイライト

bull 最新のユーザーインターフェイス

bull 高品質な検索

bull 大規模対応

ndash 機能概要

ndash システムアーキテクチャ

ndash サポート情報

ndash アプライアンスモデルご紹介

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

3

ユーザーが本当に求めている情報に絞り込んで表示してほしい

ほしい情報を瞬時に手に入れたい

人によってアクセスできる文書アクセスできない文書が異なるアクセス権を持つ文書のみ結果表示するようにしたい

企業にはさまざまなレポジトリーが存在するどこにほしい情報が入っているか分からないので纏めて一気に検索したい

なぜ企業内検索エンジンが必要なのか

企業内検索エンジンは効率的な情報収集をして業務効率を上げる手助けをします

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

4

OmniFindサポートデータソース

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAM

サポートデータソース

Microsoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

28のデータソース250以上のデータフォーマットに対応

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

5

OmniFindセキュリティ

アクセス権を持つ文書のみの検索結果をユーザーに提供

一般職

管理職

コレクション

人事情報

一般職一般職

管理職管理職

コレクション

人事情報

検索結果

検索結果検索結果

OmniFind

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

6

企業内検索画面イメージ

①テキストボックスに文字を入力

②検索ボタンをクリック

③検索結果を取得

④文書リンクから文書へアクセス

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

7

競合分析

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

8

OmniFindユースケース

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

9

OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索

検索OmniFind

ファイルサーバー Lotus Domino

bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで

bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応

【ソリューション概要】

【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 2: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

2

目次

なぜ企業内検索エンジンが必要なのか

競合分析

OmniFindユースケースndash セキュア環境でのNOTESWindowsファイルシステム横断検索

ndash さまざまなデーターソース横断検索

ndash WebSphere Portal Serverとの統合

ndash カスタマイズもろもろ

IBM OmniFind Enterprise Edition V91 (OEE) ndash ハイライト

bull 最新のユーザーインターフェイス

bull 高品質な検索

bull 大規模対応

ndash 機能概要

ndash システムアーキテクチャ

ndash サポート情報

ndash アプライアンスモデルご紹介

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

3

ユーザーが本当に求めている情報に絞り込んで表示してほしい

ほしい情報を瞬時に手に入れたい

人によってアクセスできる文書アクセスできない文書が異なるアクセス権を持つ文書のみ結果表示するようにしたい

企業にはさまざまなレポジトリーが存在するどこにほしい情報が入っているか分からないので纏めて一気に検索したい

なぜ企業内検索エンジンが必要なのか

企業内検索エンジンは効率的な情報収集をして業務効率を上げる手助けをします

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

4

OmniFindサポートデータソース

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAM

サポートデータソース

Microsoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

28のデータソース250以上のデータフォーマットに対応

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

5

OmniFindセキュリティ

アクセス権を持つ文書のみの検索結果をユーザーに提供

一般職

管理職

コレクション

人事情報

一般職一般職

管理職管理職

コレクション

人事情報

検索結果

検索結果検索結果

OmniFind

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

6

企業内検索画面イメージ

①テキストボックスに文字を入力

②検索ボタンをクリック

③検索結果を取得

④文書リンクから文書へアクセス

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

7

競合分析

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

8

OmniFindユースケース

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

9

OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索

検索OmniFind

ファイルサーバー Lotus Domino

bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで

bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応

【ソリューション概要】

【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 3: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

3

ユーザーが本当に求めている情報に絞り込んで表示してほしい

ほしい情報を瞬時に手に入れたい

人によってアクセスできる文書アクセスできない文書が異なるアクセス権を持つ文書のみ結果表示するようにしたい

企業にはさまざまなレポジトリーが存在するどこにほしい情報が入っているか分からないので纏めて一気に検索したい

なぜ企業内検索エンジンが必要なのか

企業内検索エンジンは効率的な情報収集をして業務効率を上げる手助けをします

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

4

OmniFindサポートデータソース

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAM

サポートデータソース

Microsoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

28のデータソース250以上のデータフォーマットに対応

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

5

OmniFindセキュリティ

アクセス権を持つ文書のみの検索結果をユーザーに提供

一般職

管理職

コレクション

人事情報

一般職一般職

管理職管理職

コレクション

人事情報

検索結果

検索結果検索結果

OmniFind

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

6

企業内検索画面イメージ

①テキストボックスに文字を入力

②検索ボタンをクリック

③検索結果を取得

④文書リンクから文書へアクセス

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

7

競合分析

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

8

OmniFindユースケース

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

9

OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索

検索OmniFind

ファイルサーバー Lotus Domino

bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで

bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応

【ソリューション概要】

【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 4: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

4

OmniFindサポートデータソース

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAM

サポートデータソース

Microsoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

28のデータソース250以上のデータフォーマットに対応

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

5

OmniFindセキュリティ

アクセス権を持つ文書のみの検索結果をユーザーに提供

一般職

管理職

コレクション

人事情報

一般職一般職

管理職管理職

コレクション

人事情報

検索結果

検索結果検索結果

OmniFind

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

6

企業内検索画面イメージ

①テキストボックスに文字を入力

②検索ボタンをクリック

③検索結果を取得

④文書リンクから文書へアクセス

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

7

競合分析

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

8

OmniFindユースケース

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

9

OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索

検索OmniFind

ファイルサーバー Lotus Domino

bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで

bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応

【ソリューション概要】

【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 5: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

5

OmniFindセキュリティ

アクセス権を持つ文書のみの検索結果をユーザーに提供

一般職

管理職

コレクション

人事情報

一般職一般職

管理職管理職

コレクション

人事情報

検索結果

検索結果検索結果

OmniFind

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

6

企業内検索画面イメージ

①テキストボックスに文字を入力

②検索ボタンをクリック

③検索結果を取得

④文書リンクから文書へアクセス

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

7

競合分析

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

8

OmniFindユースケース

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

9

OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索

検索OmniFind

ファイルサーバー Lotus Domino

bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで

bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応

【ソリューション概要】

【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 6: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

6

企業内検索画面イメージ

①テキストボックスに文字を入力

②検索ボタンをクリック

③検索結果を取得

④文書リンクから文書へアクセス

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

7

競合分析

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

8

OmniFindユースケース

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

9

OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索

検索OmniFind

ファイルサーバー Lotus Domino

bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで

bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応

【ソリューション概要】

【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 7: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

7

競合分析

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

8

OmniFindユースケース

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

9

OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索

検索OmniFind

ファイルサーバー Lotus Domino

bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで

bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応

【ソリューション概要】

【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 8: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

8

OmniFindユースケース

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

9

OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索

検索OmniFind

ファイルサーバー Lotus Domino

bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで

bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応

【ソリューション概要】

【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 9: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

9

OmniFindユースケースその1セキュア環境でのNOTESWindowsファイルシステム横断検索

検索OmniFind

ファイルサーバー Lotus Domino

bull 小中規模~大規模まで規模を問わないNotesとファイルサーバーの横断検索bull 文書数は100万~1億文書まで

bull ファイルシステムDominoサーバー双方のアクセス権を考慮した検索bull アクセス権を持たない文書については検索結果にも表示されないbull アクセス権の設定が不必要bullリアルタイムチェックなのでアクセス権変更に即座に対応

【ソリューション概要】

【構成】bull百万文書 OEEサーバー1台bull1億文書 OEEサーバー4台以上【ユーザー数】bull100人~数万人【利点】bullDominoファイルサーバーに格納された文書を瞬時に検索bullインターネット検索のようにキーワード自然文検索可能bullDominoの添付文書も検索可能

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 10: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

10

OmniFindユースケースその2さまざまなデータソース横断検索

検索OmniFind

bull企業に散在する各種多様なデータソースを一括して検索bull 30以上のデータリポジトリ250以上のファイルフォーマットに対応bull 20以上の言語に対応した高度な分かち書き処理

【ソリューション概要】

【利点】bull30以上のデータリポジトリに対応

bullファイルサーバーWindows UNIXbullRDBMSDB2OracleMySQL etcbullコラボレーションNOTES MS SharePoint Connections etcbull文書管理FileNet Quickr CM Documentum etc

bull20以上の言語サポートbull英語独語フランス語中国語ハングル日本語など

ORACLEFileNet

DB2

Lotus

Quickr

Lotus

Connections

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 11: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

11

OmniFindユースケースその3WebSphere Portal Serverとの統合

bullポータル内外の文書を全文検索可能bull ポータル文書HTML文書QuickrConnections etc

bullWebSphereポータルサーバーを使ったポータル環境にノンプログラミングで統合可能

【ソリューション概要】

【利点】bull ポータル内検索ボックスからOEE

機能を使用可能bull スクリプト起動でポータルサーバー

にデプロイ可能bull SSO(LTPA)可能なので検索シス

テムにログイン不必要

検索ボックス検索ポートレット

WebSphere Portal V61

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 12: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

12

OmniFindユースケースその4カスタマイズもろもろ (14)

要望1対応していないデータソースを検索対象としたい

OmniFind

ノーツクローラー

カスタムクローラー

非対応データソース

bull手作り文書管理システム

bull非対応RDBMS

bullCSVファイル

など

クローラーフレームワークにより簡単にカスタムクローラーを作成

Quickrクローラー

カスタムクローラーフレームワーク

bullJavaベースのクローラー用フレームワーク

bullEclipseなどのJava開発環境で開発

bullエラーハンドリングスケジューリング更新検知などのコーディング不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 13: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

13

OmniFindユースケースその4カスタマイズもろもろ (24)

要望2セマンティックサーチをしたい

例えばrdquo硫化鉱物rdquoに関する文書を検索したい rarr UIMAアーキテクチャによるアノテーション付加

尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱閃亜鉛鉱良質の菱マンガン鉱等が採れたことは有名です

鉱物種硫化鉱物

クロール時に硫化鉱物に属する鉱物に対してアノテーション(注釈)を付加する

鉱物種硫化鉱物 検索

検索時

クロール

鉱物種(100)

硫化鉱物(50)

酸化鉱物(20)

炭酸塩鉱物(10)

活用法1)分類 活用法2)検索結果

オリジナル文書にメタデータがない場合でも

う分類

尾太鉱山html尾太鉱山は昭和53年(1978年)8月閉山しましたが黄銅鉱や黄鉄鉱hellip

ldquo硫化鉱物rdquoに属する鉱物が

含まれている文書を抽出

黄鉄鉱アンモナイトこの標本が金色に輝いているのは黄鉄鉱で構成されているからであるhellip

検索時にldquo硫化鉱物rdquoに属するすべての鉱物を検索することができる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 14: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

14

OmniFindユースケースその4カスタマイズもろもろ (34)

要望3ユーザーインターフェイスを変更したい

パターン1検索結果項目背景などを変更rarr 検索カスタマイザーを使用

(カスタマイズなし)

パターン2NOTESクライアントから検索したいrarr 無償のプラグイン提供

(カスタマイズなし)

パターン3カスタムアプリに検索機能を追加したいrarr iframeを使ったHTML埋込rarr 検索APIを使ったカスタマイズ要

Java API

REST API

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 15: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

15

OmniFindユースケースその4

カスタマイズもろもろ (44)

要望4その他

SSO( Single Sign On) を実現したいrarr LTPA以外のSSO方式はカスタマイズが必要

セキュア検索対象ではないデータリポジトリに対してセキュア検索したい

rarr セキュリティトークンを索引に埋め込む処理が必要

アーカイブ(退避)されたファイルをクロールしたい

rarr 初回クロール時にアクセス日付が書き換えられその結果退避先から元に戻ってしまうので

アクセス日付を書き換えアーカイブに戻すなどの作業が必要

URLの書き換え

rarr 管理GUIでURLの書き換え可能(コーディング不要)ただしパターンが必要

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 16: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation16

事例

bull VanMarkeは Master Data Management(MDM)の構造化情報と企業内にある非構造化文書を横断検索するのにOmniFindを活用している

bull カールスルーエ 市ではOmniFindを使ってインターネット向けの市が提供しているサービスと情報を検索する機能を提供している

bull Haldor Topsoslashe AS では従業員1300人がLotus Notesや共有ファイルイントラネットの情報を検索するのにOmniFindを利用している

bull ある日本のメディア会社ではOmniFindを使って5テラバイトのLotus Dominoの情報を検索し社員の知識共有に役立てている

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 17: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

17

OmniFind

Enterprise

Edition

V91

高品質な検索

最新のユーザーインターフェイス

大規模対応and

MORE

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 18: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

18

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbull洗練されたUIbull欲しい情報に素早くたどり着くユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイル

スケーラビリティbullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 19: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

19

洗練されたユーザーインターフェイス

情報を直感的に見つけるのにサムネールが役立つ

文書アイコンをクリックするとその文書の全文を表示

Microsoft Windowsファイルサーバの文書がヒット

クリックすると画像が拡大表示

ファセットによる分類を表示

事業部ごとに分類されたカテゴリー

入力候補を表示することで入力を促進します候補は索引内

ログから選択予想される結果数

ldquoもしかしてrdquo機能

検索条件の保存呼出

1ページあたりの検索結果数の指定

ファイルタイプフィルタリング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 20: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

20

ファセット検索

1 ファセット検索 2 カテゴリー検索

URL(ファイルサーバーのディレクトリ名)で分類

文書が持っているメタデータで分類レンジファセットを使って範囲で分類

1 ファセット検索文書自体の持つメタデータ(フィールド 著者更新年月日などの付加情報)を分類

bull 階層ファセット

bull レンジ(範囲)ファセット

2 カテゴリー検索文書収集時にルールによって分類

bull URIルール URIにある文字が含まれているかで分類

例) softwareimecm -gt ldquoECMrdquoカテゴリーへ

例) softwareiminfosphere -gt ldquoInfoSphererdquoカテゴリーへ

bull クエリールール ある特定の語句で検索される文書により分類

bull 階層は任意の深さに設定

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 21: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

21

ファセット検索(例NOTESフィールドのマッピング)

NOTES文書

NOTES文書が持っているフィールドをOmniFindのファセットにマッピング

キーワード検索以外の検索手法により正確な検索を実現

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 22: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

22

タイプアヘッド

検索語句候補を表示し検索語の入力を支援 索引内部とクエリーログから入力候補を表示 セキュリティパフォーマンスの観点から本機能をONOFF

索引

クエリーログ

入力途中クエリー

入力候補

ldquo日本rdquo

日本 260000 results

日本人 154000 results

日本語 60000 results

hellip

日本IBM 146000 results

日本語 84000 results

hellip

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 23: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

23

検索語の候補を表示

ndash 検索ユーザーに検索語中に入力ミスがあることを示唆

ndash セキュリティパフォーマンスの観点から本機能をONOFF

クエリーサジェスチョン

候補語

入力語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 24: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

サムネイル機能

オフィスファイルのサムネイルを表示 (Microsoft OfficePDF等)

プレビュー機能

ハイライト付きの全文章を表示

サムネイル amp プレビュー

全文表示

拡大表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 25: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

25

管理UI ( レポート機能 ) 検索の統計を表示

ndash 検索数ndash ユーザー数ndash 平均レスポンス時間 (ms)ndash ワーストレスポンス時間 (ms)ndash ポピュラーな検索語ndash 検索結果を返さなかった語

CSVファイルにエクスポートし表計算ソフトなどによる更に高度な分析

時系列単位(日週月)で表示 リアルタイムで分析

検索語検索者時刻結果数応答時間を表示

今日今週今月ごとに検索数の推移をグラフ化

高頻度の検索語を表示

結果を戻さなかった検索語を表示

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 26: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

26

OmniFind ハイライト

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンサムネイルbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイムインデキシングbullインデックス分割

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 27: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

27 2011126

インデックスを作成するための解析方法は

形態素解析Nグラム解析の2種類が主流

形態素解析方式辞書引き文法に従って意味のある単語に分かち書き

Nグラム方式長さ(2グラムならば2文字づつ)で機械的に分かち書き

形態素解析における分かち書き処理にIBM研究所で開発メンテナンスされている自然言語解析技術であるIBM Language Wareを使用

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 28: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

28 2011126

比較項目 形態素解析方式 Nグラム方式

適合率(検索ノイズ) 高い (少ない) 低い (多い)

再現率(検索漏れ) 中 (多少漏れあり) 高い (漏れない)

索引作成時間 中 (Nグラムに比べると遅い) 速い

索引サイズ 小さい 大きい

辞書(分かち書き) 必要 必要なし

検索速度 速い 遅い

自動車を購入したい

形態素解析 自動車 を 購入 した い

2グラム 自動 動車 車を を購 購入 入し した たい

ハイブリッド索引① 形態素 amp Nグラム

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 29: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

29 2011126

Nグラム方式のノイズの例

形態素解析方式での漏れが発生する例

研究所研究

文化

人類学文化人

X

bull東京都bull営団地下鉄bullインストール

ハイブリッド索引① 形態素 amp Nグラム

X

X

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 30: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

30

ハイブリッド索引②

形態素解析とNグラムを単一の索引で使用

両方の長所を取り入れたハイブリッド索引

形態素索引

Nグラム索引

クエリーハイブリッド

索引マージ xmlxml

結果

クエリー

xmlxml

結果

文書 検索語 形態素 Nグラム ハイブリッド

コンピュータ コンピューター ヒット ヒットしない ヒット

カーナビ ナビ ヒットしない ヒット ヒット

東京都周辺 京都周辺 ヒットしない ヒット ヒットldquo京都周辺rdquoを含む文書よりランクは低い

アプリケーションでのマージは不要

ディスク容量の削減

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 31: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

31

Apache UIMAを使ったセマンティック検索セマンティック検索とは

アノテーターオントロジーモデルメタデータ辞書を使った意味的な検索

IBMのセマンティック検索に対する回答

UIMA Unstructured Information Management Architecture 文書を解析し語句にアノテーション(注釈)を付加する技術

2009年3月からOASIS標準

して勤務にABC株式会社は山田太郎

をしています仕事のエンジニアおり

彼の年齢は29歳で事業所は神奈川

-1234-080は連絡先にあります川崎の県

hellipです1234

山田太郎

ABC株式会社

エンジニア

川崎

080-1234-1234

人名

会社名

職業

地名

電話番号

アノテーション

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 32: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

32

ランキングチューニング (12)

静的ランキングのスコア調整

検索語の出現回数などから算出される動的スコアとリンク数日付などから計算される静的スコアの寄与の割合を設定

ユーザー定義メタデータによるランキングチューニング

ユーザ定義のメタデータによる静的スコア例)文書の重要度をフィールドとして定義し静的ランキングをカスタマイズ

最新更新した文書のランキングを上げたい

参照(リンク)されているWebページのランキングを上げたい

参照回数が多い文書のランキングを上げたい

重要な文書のランキングを上げたい

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 33: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

33

ランキングチューニング (22)

ブーストタームクエリー

特定の検索語の重要度を検索時に動的に指定例) France England Japanで検索するときに

Japanのスコアを高くする場合検索語に「 Japan ^50 」を入力し重要度を5倍に設定

URLパターンマッチング(V85から継承)

ある特定のURLパターンと適合する文書のランキングを上げる

例) httpibmcomsoftwareimecm -gt ~ecm 配下の文書のランキングを上げる

ブーストターム辞書(V85から継承)

ランキングを上げたい語を辞書登録することによりその語のランキングを上げる

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 34: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

34

OmniFind ハイライト

高品質な検索結果bull適応性が高くかつ漏れがないハイブリッド索引bullApache UIMAによるセマンティック検索bull簡単で直感的なランキングチューニング

最新のユーザーインターフェイスbullフルファセットによるユーザーナビゲーションbullタイプアヘッドクエリーサジェスチョンbullAdobe FlexによるインタラクティブUI

大規模対応bullフレキシブルなマルチサーバー構成bullリアルタイム索引更新bull索引構成の最適化

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 35: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

35

拡張性を備えたマルチサーバー構成

クロール

クロール文書処理索引処理

文書処理

文書処理

文書処理索引処理

検索

検索

検索

検索

RDS 索引 索引

索引

索引

索引

高可用性(HA)クラスター

スケールアウト(拡張)

拡張性のあるノード構成ndash 文書処理ノードを複数配置(1~nノード)ndash 検索ランタイムノードを複数配置(1~nノード)ndash クローラーノード文書処理ノードのHAクラスター構成ndash システムを停止せずにノードを追加

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 36: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

36

リアルタイム索引更新

新規に追加更新された文書を検索結果に即時反映

ndash 定期的に索引の更新を検知

ndash リアルタイムで索引が更新されるので差分索引は不要

ndash 索引の再編成は不要

データソース 索引 検索結果

検索コンポーネント

検索コンポーネント

文書

データソース

索引

検索結果

検索コンポーネント

検索コンポーネント

文書

OEE V91

OEE V85

再編成

定期的な再編成

リアルタイムに索引に反映

再編成は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 37: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

37

索引構成の最適化

大量の文書を対象とするための索引構成の最適化

ndash 1索引あたりの文書数を2千万文書に制限

ndash 索引が2千万文書を超えた場合索引を複数に分割配置

ndash 一つの大きな索引に比べ検索速度と索引作成速度は高速

索引

索引

索引

索引

索引処理 仮想索引 検索コンポーネント

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 38: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

38

機能概要

検索ユーザー

bull 新しい検索アプリケーション先進のユーザーインターフェースが検索の新しい世界を開く

bull ファセット検索文書のさまざまな属性で絞込み可能

bull タイプアヘッド検索語を入力すると候補の検索語を一覧表示し検索語の入力支援

bull クエリーサジェスチョン検索結果が少ないときに索引の中の語彙から検索語に近い語を表示

bull 拡張検索近傍ファジーワイルドカードブーストタームといった検索オプションを提供

bull サムネイル検索にヒットしたPDFなどのサムネイルを表示

bull ハイブリッド索引形態素解析とNグラムの両方式を高次元で両立

and

MORE

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 39: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

39

参考 機能概要 and

MORE

検索管理者

bull リアルタイム更新新たに文書が追加更新削除された場合随時索引に追加される

bull クエリー統計単位時間あたり検索数とユーザー数平均応答時間検索語句頻度検索結果を返さなかった検索語句をグラフィカルに表示

bull REST APIHTTPクライアントから使えるAPI検索と管理両方に対応

bull 検索アプリケーションカストマイザー新しいアーキテクチャに対応

bull 検索アプリケーションのソース付属

bull キャッシュからのインデックス作成キャッシュから索引を作成できるので再クロールが不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 40: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

40

参考 機能概要 and

MORE

システム管理者

bull マルチノード構成運用中であっても検索サーバーや文書解析処理サーバーを自由に増やし検索対象文書の量や検索ユーザーの増加に柔軟に対応

bull 高可用性(HA)構成ユーザーの介在なしに数分でフェイルオーバー高い稼働率を実現

bull 索引のSANNAS共有索引のコピーなし複数検索サーバー構成ディスク容量削減コピー時間短縮

bull Win FSエージェントMicrosoft Windows以外のプラットフォーム上のOmniFindからMicrosoft Windowsファイルサーバーへのセキュアな検索を実現

bull ディスク容量索引作成時のディスク使用量が減少 (対全バージョン)

bull 非rootユーザーによるインストールrootユーザー以外によるインストール作業の実施

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 41: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

41

参考 REST API

HTTP GETリクエストにより取得可能なサービスを提供 検索と管理機能をREST APIで実装

ndash JavaベースのSIAPIに比べ簡単に実装ndash 他システムとの連携が容易ndash ガジェットの作成が容易

索引一覧の取得httplocalhost8394apiv10collections

Facet 一覧の取得httpbuzzjethakozakiibmcom8394apiv10browserscollection=col_8910

サムネイルの取得(サムネイルがある場合)httpbuzzjethakozakiibmcom8394apiv10documentthumbnailcollection=col_8910ampuri=file3A2F2F2Fe3A2Fpub2Fdocuments2FSAMY2FDocuments2FCMV82-Languageppt

文書の検索 (col_8910という索引に対してldquoIBMrdquoという語句で検索)httpbuzzjethakozakiibmcom8394apiv10searchcollection=col_8910ampquery=IBMampfacet=22id2222date|Extension|Directory|File20Name|File20Size22

Fetch document on specified collectionhttplocalhost8394apiv10documentcontentcollection=sampleampuri=fileCProgram+FilesIBMesdocsen_USOmniFindEnterprise_910_qstpdf

例)

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 42: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

42

参考 SIAPI 拡張検索拡張されたクエリー文法

ndash ファセット (パス) 検索 フラットファセット検索階層ファセット検索例 ldquoLocationCaliforniaSanJoserdquo

ndash 近接検索 (語と語の)距離や順序を考慮した検索例 ldquoOmniFind Edition WITHIN 5rdquo ldquoIBM OmniFind WITHIN SENTENCErdquo

ndash ファジー検索 スペルのあいまい検索

ndash ワイルドカード検索 前方中間後方文字数指定例 ldquoOmnirdquo ldquoSeachrdquo ldquoOmniFind Editionrdquo

ldquoOmniFind Editionrdquo

Search

Enterprise

Search~08

LocationCaliforniaSanJose

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 43: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

43

参考 検索UIのカスタマイズ

管理者は検索画面のユーザーインターフェイスを検索カスタマイザーを使ってカスタマイズ(変更)

カスタマイズ項目サーバー設定

ホスト名ポート番号タイムアウト値hellip

見栄えディスプレイ名ロゴイメージ見せる隠すリンクデータソースのアイコンhellip

検索アプリのプリファレンス検索ページファセット結果カラム

サーチセッションの再起動は不要

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 44: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

44

参考 SANNASサポート索引ファイルと設定ファイルはSANNASを使って複数のサーバーで共有

ndash ストレージの総容量を削減ndash サーバー間での索引のコピーが不要なため索引作成の速度が向上

IndexConfiguration

Network Strange

Search Runtime Server 1

Search Runtime

Search Runtime Server 2

Search Runtime

Search Runtime Server 3

Search Runtime

Doc Processing

Crawler Indexer Service

File share

eg GPFS

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 45: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

45

参考 Microsoft Windowsファイルシステムエージェント

主要機能ndash Microsoft Windows以外のプラットフォームから

Microsoft Windows上のファイルをクロールndash セキュア検索

必要ソフトウェアndash Microsoft Windowsサーバー上にエージェントをインストール

Microsoft

WindowsOmniFind

Agent for

Windows

FS Crawler

OmniFind

ParseIndex

OmniFind

Search

OEE Agent

protocolAgent for

Windows

File system

Microsoft

Windows

Local file

system

Remote

file system

CIFS

protocol

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 46: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

46

OmniFind Enterprise Edition V91

まとめ

高品質な検索

最新のユーザーインターフェイス

大規模対応

1

2

3

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 47: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

47

参考 システムアーキテクチャ

DocumentCache

Raw DataStore

Scheduler LoggingControl ConfigurationMonitor Security

Common Infrastructure

Cra

wle

r

Plu

g-i

n

Crawler Framework

SearchIndex

CustomCrawler

QuickPlaceCrawler

DominoDoc MgtCrawler

NotesCrawler

SharePointCrawler

ExchangeServer

Crawler

NNTPCrawler

DB2Crawler

JDBCDatabaseCrawler

ContentIntegrator

Crawler

DB2Content Mgr

Crawler

FileNet P8Crawler

WebCrawler

Seed ListCrawler

WebContent Mgr

Crawler

WebSpherePortal

Crawler

WindowsFile System

Crawler

UnixFile System

Crawler

Agent forFile System

Crawler

Global Processing

Web LinkAnalysis

ThumbnailGeneration

Classic Collection

Exp

ort

Plu

g-i

n

SIAPIApplication

CustomPoint

Indexer SearchIndex

Δ

An

n

An

n

An

n

UIMA

Parser

Indexer

Indexer Service

Document Processor Y

Parser Doc GeneratorA

nn

An

n

An

n

UIMA

Document Processor 1

Document Processor X

Search Collection

Exporter

Search Node YSearch Node X

Search Runtime

Search Node 1

Search Node 2

Search Runtime

Search Node 1

Search Application

ESSearch Application

Admin Application

REST APIApplication

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 48: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

48

参考 サポート情報 (12)

IBM FileNet Content ManagerIBM Content ManagerIBM WebSphere Portal Document ManagerEMC DocumtumHummingbird DMMicrosoft Windows SharePoint ServerOpen Text LivelinkIBM DB2IBM IMStradeIBM InformixregMicrosoft SQL serverOracleMySQLSoftware AGSybaseVSAMMicrosoft ExchangeNetwork News Protocol NewsgroupUNIX le systemsMicrosoft Windows serverWeb servers(HTTPHTTPS)IBM WebSphere PortalIBM Lotus Web Content ManagementIBM Lotus Domino Document ManagerIBM Lotus NotesregIBM Lotus QuickPlaceIBM Lotus QuickrregIBM Lotus Connections

AIX 53(64-bit TL 5300-06 or later)AIX 61(64-bit)Red Hat Enterprise Linux Advance Server 5(32-bit)Red Hat Enterprise Linux Advance Server 5(64-bit)Novell SUSE Linux Enterprise Server 10(32-bit)Novell SUSE Linux Enterprise Server 10(64-bit)Novell SUSE Linux Enterprise Server 11(32-bit)Novell SUSE Linux Enterprise Server 11(64-bit)Solaris 10 (64-bit)Microsoft Windows Server 2003 Enterprise with SP2(32-bit)Microsoft Windows Server 2003 R2 Enterprise with SP2(32-bit)Microsoft Windows Server 2008 Standard with SP2(64-bit)Microsoft Windows Server 2008 Enterprise with SP2(64-bit)Microsoft Windows Server 2008 R2 Standard(64-bit)Microsoft Windows Server 2008 R2 Enterprise(64-bit)

Microsoft Internet Explorer 7Microsoft Internet Explorer 8Mozilla Firefox 3Mozilla Firefox 35Mozilla Firefox 36

データソース プラットフォーム

ブラウザ

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 49: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

49

サポート情報 (22)

ArabicChinese (TraditionalSimplified)CzechDanishDutchEnglish FinnishFrench (National Canadian)German (National Swiss)GreekItalianJapaneseKoreanNorwegian (Bokmaringl)PolishPortuguese (National Brazilian)RussianSpanishSwedish

言語

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 50: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

50

お問合せ先

日本IBM

ソフトウェア事業ECM営業部

CMofficejpibmcom

httpibmcomsoftwarejpdatasearchsearchhtml

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております

Page 51: ソフトウェア事業 Enterprise Content Management (ECM) 全 …© 2010 IBM Corporation 2010年10月12日 日本アイ・ビー・エム株式会社 ソフトウェア事業Enterprise

copy 2010 IBM Corporation

IBM OmniFind Enterprise Edition V91

IBMスマーターソフトウェア祭りのポイント登録方法

51

ポイント登録ndashポイント登録をいただきますと20113月末までのポイント計算によりIBMからリ

セラー様企業へ特典プレゼントがございますndashキャンペーン詳細darrndashhttpswww-304ibmcompartnerworldmempatpat_sw_smarter_jphtml

登録手続きndash本コンテンツは「IBMスマーターソフトウェア祭り」のポイント対象コンテンツとな

っております(セミナーに分類されています)ndash以下ページよりポイント登録いただけますndashhttpswwwibmcomjpdomino01imailanqimcquestnsfV2_brcpat_sw_

smarter_jpbull セミナー日付本コンテンツをダウンロードまたは活用いただいた日付 をご記入くだ

さいbull VAD名株式会社ネットワールド とご記入くださいbull セミナー番号NWC-201101-12 とご記入くださいbull その他の項目をご記入ください

本スライド(P51)はネットワールドにより挿入しております