watson discoveryの活用とr&rからの移行
TRANSCRIPT
Watson Discoveryの活用とR&Rからの移行
2017年12月3日 IBM Cloud (Bluemix) 冬の大勉強会
井上 研一／小倉 実咲
井上 研一
合同会社井上研一事務所 代表・ITコーディネータ・ ITエンジニア
「超初心者」専門 ITスクール TECH GARDEN SCHOOL 講師
Watsonをコールセンター等に導入したり、本を書いたり、
AIやIoT関連の研修・セミナーをやったりしています。
最近「北九州で IoT」というビジネスコンテストで採択されて、
3月のデモデイに向けていろいろやっています。（ Watson IoT採用？）
https://inoccu.comTwitter: @inoccuFacebook: kenichi.inoue
小倉 実咲
慶應義塾大学経済学部 3年
「超初心者」専門 ITスクール TECH GARDEN SCHOOL 塾生スタッフ
大学１年時より所属する「 TECH GARDEN SCHOOL 」で、井上先生をはじめ
とするエンジニアの方々からプログラミング等を学びつつ、スタッフとして運
営や講師活動に携わっております。
その中でWatson APIを用いた開発に興味を持ち、只今勉強中です。
大学では経済学を専攻しており、経済学の中でも特に「行動経済学」という
分野を日々学んでおります。
アジェンダ
1. Discoveryとは何か（井上）
2. TGS BotのR&RからDiscoveryへの移行（小倉）
3. エンタープライズシステムのR&RからDiscoveryへの移行（井上）
1.Discoveryとは何か
（井上）
R&R／DoCの廃止とDiscoveryへの移行
現在、Amazonでは取り扱い中止になっています。（中古本のみ）
改訂版執筆中！！
Discoveryの機能
● Word/PDF/HTML/JSON文書の蓄積とエンリッチメント○ Watson Knowledge Studio（WKS）と連携したカスタムエンリッチメント
● コグニティブ検索○ 自然言語検索
○ Discovery Query Languageによる検索
● トレーニングデータによる自然言語検索の精度改善（機械学習）
● クローラーの提供
Discoveryの構造（１）
Discoveryの構造（２）
Ingestionのステップ
2.TGS Botの
R&RからDiscoveryへの移行
（小倉）
TGS Botとは？
<コンセプト>・ターゲット ⇒ 当スクールの生徒様
学習中の塾生スタッフ
・解決したい課題 ⇒ 多くの人が陥いるようなエラーであれば、
簡単に１人で解決したい。していただき
たい。
＜ユースケース＞
生徒様・塾生スタッフが、原因のわからないエラー内容を入力するだけで、その解決方
法が提示される。
移行前の構造Watson API
ブラウザ
DBCakePHP
質問
回答
質問データ
検索結果
collection , doc_no
Body(回答)
移行前のWatson API ←Node-REDを用いて開発
NLC質問者・ブラウザ
setting
common
R&R
検索結果をブラウザへ
setting.collecion
common.collection
移行後の構造
Watson APIブラウザ
質問
回答
質問データ
検索結果
移行後の構造 ←引き続きNode-REDを用いて開発
NLC質問者・ブラウザ
setting
common
Discovery
検索結果をブラウザへ
setting.collecion
common.collection
作業手順
① Discovery内にコレクションを作成する。
② R&Rの学習に使用していたJSONデータを、Discoveryに学習させる。(この際、 JSON
データ１つにつき、 1ファイルで保存する必要がある。 ’id’は使用不可。 )
③Node-RED上でR＆RをDiscoveryに置き換え、HTMLを書き換える。
↓
・訓練データファイルの編集等、多少の改変作業はあったものの、予想より非常にス
ムーズに移行することができた。
3.エンタープライズシ
ステムの移行Tips
（井上）
エンタープライズシステムでのコスト感
● 某製造業のコールセンターに導入したR&Rからの移行
● 160コレクション○ R&R → 20インスタンスで稼働（8Ranker／1インスタンスのため）
○ Discovery → 文書数 最多 3,400文書 最少 60文書 ／コレクション
Retrieve and Rank (R&R)
● インスタンス料金● Ranker料金● Rnakerトレーニング料金● API Call
763,200円／月※API Callを除く
Discovery Standard Plan
● 文書数（1,000文書単位）
249,000円／月※API Call 課金なし
移行作業で困ったこととノウハウ
● CollectionへのDocument追加は非同期で行われる（R&Rは同期だった）○ 非同期の同時処理数を超えた場合、追加がエラーになるので、制御が必要
○ List Collection Details APIでprocessing（処理中）の文書数が分かる
● どのようなTraining Dataなら精度が上がりやすいのか？○ 公式ドキュメントには言及あり →要確認！
● 日本語のエンリッチはいまのところWatson Knowledge Studio（WKS）頼み○ WKSで思ったようなエンリッチの結果を出すのは結構大変･･･
○ 「超辛い」が「結構大変」になったらしい･･･
○ エンリッチの日本語対応（ NLUの日本語対応）を積極的にお願いしたい･･･ →IBMさん
● Discovery Toolから日本語が選べないかもしれない○ CurlなどからAPIを使うと一応、大丈夫
まとめ
Discoveryは恐れるに足りず。つつがなく移行を！