(2017.4.27) ibm watson developer cloudのアプリケーションログを可視化する

IBM Watson Developer Cloudのアプリケーションログを可視化する

2017.4.27

クリエーションライン株式会社シニアコンサルタント木内満歳

Bluemix User Group ミートアップ in Watson Summit 2017

自己紹介木内満歳（きうちみつとし）

クリエーションライン株式会社シニアコンサルタント

Slideshare: http://www.slideshare.net/mkiuchi4

各種寄稿

a. gihyo.jp: “Mesosphere DCOSでつくるクラウドアプリケーション”

b. 日経クラウドファースト2016年6月 “Azure IoT Suiteの評価”

c. Codezine: “機械学習をクラウドで手軽に体験！ BluemixのApache Sparkで異常

なセンサーデータを洗い出す”

各種講演a. Developer Summit 2016 Summer

b. 日経BP社 “パブリッククラウド導入の企画提案力養成講座”

c. Cloudweek Hokkaido 2015/2016

d. 政策研究大学院大学科学技術イノベーション政策研究センター「科学技術イノベーション政策のための科学オープンフォーラム」

専門分野：Apache Mesos, Apache Spark, 分散コンピューティング, クラウドコンピューテ

ィング, NoSQL DB, グラフDB

O’reilley Certified Developer on Apache Spark

Docker Certified Technical Trainer

クリエーションライン株式会社

主な取り扱い製品

クラウド基盤・アジャイル開発支援

データ分析基盤

人材募集中です

• クリエーションラインでは「われこそは！」という人材を募集しています– クラウド・Docker

– IoT

– データ分析– DevOps/構成自動化(Chefなど)

https://www.creationline.com/recruit

本題：IBM Watson Developer Cloudのアプリケーションログを可視化する

・・・って要するにどういうこと？

Watson Developer Cloud

Elastic{ON} 2016キーノートにて

つまりWatsonのログはElasticsearch

で管理されている・・・が

Watsonのコンポーネント

ユーザから見えるログはない

終了・・・だとあまりに悲しいので

この人

Jason McGeeIBM Fellow, VP and CTO,

IBM Cloud Platform

IBM CloudにおけるElasticsearchの活用事例は３つある。

①Watson Developer Cloudでの活用

② IBM Twitter Insights for Bluemixでの利用

③ IBM Bluemix multi-tenancyでの利用

IBM Twitter Insights for Bluemix

IBM Bluemix multi-tenancy

IBM Bluemix multi-tenancyでコンテナのログを可視化する

改めて IBM Bluemix multi-tenancy

つまりBluemixコンテナのログ出力が勝手にElasticsearchに蓄積され

Kibanaで可視化できる仕組み

👆ここはユーザが作る 👆ここはBluemixがいい感じに勝手に作ってくれる

これの何がいいのか？

[kiuchi@x1carbon ~]$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

2689449a3b60 mkiuchicl/frontend-centos7 "/start.sh" 9 seconds ago Up 7 seconds 0.0.0.0:32768->22/tcp tiny_allen

[kiuchi@x1carbon ~]$ docker logs 2689449a3b60

ADD user account

Changing password for user root.

passwd: all authentication tokens updated successfully.

start sshd

--------------------

SSH PASSWORD - please change immediately

username: root , password: e988ce764e3bad34ddac957e6e64e83e5424af97

--------------------

[kiuchi@x1carbon ~]$

通常Dockerコンテナのログは“docker logs”コマンドで見る。見るためにはコンテナIDを指定する必要がある

これの何がいいのか？

[kiuchi@x1carbon ~]$ docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

2689449a3b60 mkiuchicl/frontend-centos7 "/start.sh" 9 seconds ago Up 7 seconds 0.0.0.0:32768->22/tcp tiny_allen

[kiuchi@x1carbon ~]$ docker logs 2689449a3b60

ADD user account

Changing password for user root.

passwd: all authentication tokens updated successfully.

start sshd

--------------------

SSH PASSWORD - please change immediately

username: root , password: e988ce764e3bad34ddac957e6e64e83e5424af97

--------------------

[kiuchi@x1carbon ~]$

通常Dockerコンテナのログは“docker logs”コマンドで見る。見るためにはコンテナIDを指定する必要がある

数個ならまだ手作業でなんとかなる

数10個でもスクリプトなどを組んだりrsyslog

で集約すれば・・・検索は気合のgrep

で・・・

数100個になったら・・・大量のログの中からキーワード検索するには・・・

ログ集約・スケーラブルな検索の必要性

実際にやってみましょう

ログとして記録されるもの

• time(ログのタイムスタンプ)

• timestamp(elasticsearchに記録された日時)

• ALCH_TENANT_ID

• group_id

• host(コンテナのホスト, コンテナ名ではない)

• instance

• log(ログ本体)

• message(JSON化されたパースされる前のデータ)

• path

• stream(stdout, stderr)

syslogっぽく出すことも可能

まとめ

• BluemixではElasticsearchを活用したサービスが提供されています

– Twitterのツイート検索ができる “IBM Twitter Insights for Bluemix”

– Bluemixコンテナのログ管理ができる “IBM Bluemix multi-tenancy”

• “IBM Bluemix multi-tenancy”はコンテナを作成すると勝手にelasticsearch,

kibanaのセットが作成され、ログを集約し、検索することができるように

なります

(2017.4.27) ibm watson developer cloudのアプリケーションログを可視化する

Internet

ibm watson analytics for social media

ibm watson workspace と ibm notes の連携

ibm watson - künstliche intelligenz im marketing

ibm developer days: industrie 4.0

watson by ibm

watson iotとibm dsxでwatsonと役割分担

ibm watson machine learning and watson knowledge stuido...

watson for cybersecurity - wko.at · ibm qradar event/flow...

ibm watson discovery – node · 2019-10-25 · ibm watson...

offre ibm developer works premium

ibm watson analytics€¦ · ibm watson analytics . created...

von der quizshow ins geschäftsleben: ibm watson analytics...

ibm watson marketing insights - ibm analytics … ·...

プログラミング ibm developer kit for java...ibm...

ibm watson & cognitive iot · 2018-05-09 · ibm watson &...

ibm i: programar el ibm developer kit para java

ibm watson swisstext · solution watson$ explorer watson$...

présentation des apis cognitives ibm watson

ibm watson data platform

コグニティブ・コンピューティング ibm...