conversation as a platform
TRANSCRIPT
#azurejp#azurejp
https://www.facebook.com/dahatake/https://twitter.com/dahatake/https://github.com/dahatake/https://daiyuhatakeyama.wordpress.com/
#azurejp
技術先行でのビジネスのアイディア醸成
という世界
#azurejpPepper アーキテクチャー
Pepper Azure 対応 Printer
・・・(様々な対応デバイス)
Pepper × Azure デバイス エコシステム
Power BI を始めとした
データ活用エコシステム
・・・(様々なアプリ)
Azure IoT Hub ( デバイス登録・認証・管理・送受信 )
Cloud Robotics FX (Cloud Service)
DeviceController
DeviceRouter
Application
Router
Azure Machine Learning ( レコメンド / 予測 / 予防 / 最適化 )
32 インスタンスまでスケール可
能
Microsoft Azure
Stream Analytics( 生データ記録 / 異常値
検出 / データ集約 )
Azure Data Lake
( 無制限ストレージ/
解析エンジン )
繰り返し学習
SQL Database(Elastic Database Pool)
Power BIService
StreamAnalytic
sSQL
Database
AzureData Lake
Cloud AIの利用
: Azure PaaS
: Robotics SDK
Smart phone
Microsoft Translator( 多言語翻訳エンジン )
Cognitive Services / Bot Framework
( 人工知能サービス API / ボット )
#azurejp#azurejp
James Whittaker
Fri 2/23/2013 4:35 PM
Jennifer WhittakerOF Monsters And Men Coming!
Hey Dad,
One of my favorite bands, Of Monsters And Men, is coming to the Paramount Theater in May. OMG!!! I WANT to seem them and would LOVE to see them with my concert buddy!
Father and daughter night out (your treat…lucky!)
Let me know…, NOW!!!!!!!! ;)
TTYL,Jen
Action BrokerMessage + Get More Apps
James Whittaker
Fri 2/23/2013 4:35 PM
Jennifer WhittakerOF Monsters And Men Coming!
Hey Dad,
One of my favorite bands, Of Monsters And Men, is coming to the Paramount Theater in May. OMG!!! I WANT to seem them and would LOVE to see them with my concert buddy!
Father and daughter night out (your treat…lucky!)
Let me know…, NOW!!!!!!!! ;)
TTYL,Jen
Message Action Broker + Get More Apps
James Whittaker
Fri 2/23/2013 4:35 PM
Jennifer WhittakerOF Monsters And Men Coming!
Hey Dad,
One of my favorite bands, Of Monsters And Men, is coming to the Paramount Theater in May. OMG!!! I WANT to seem them and would LOVE to see them with my concert buddy!
Father and daughter night out (your treat…lucky!)
Let me know…, NOW!!!!!!!! ;)
TTYL,Jen
Message Action Broker + Get More Apps
Band Overview
Buy Music
Top Videos
Similar Artists
Of Monsters And Men
biography After winning the nationwide 2010 battle-of-the-bands competition Musiktilraunir in their native Iceland, six-piece chamber pop group Of Monsters and Men were hailed as "the new Arcade Fire" in Rolling Stone magazine. A bidding war ensued, and the group signed with Universal Music Group. In the beginning of 2012, a four-song EP titled Into the Woodswas issued as a preview to their full-length debut, My Head Is an Animal, which was released in the States that spring.
James Whittaker
Fri 2/23/2013 4:35 PM
Jennifer WhittakerOF Monsters And Men Coming!
Hey Dad,
One of my favorite bands, Of Monsters And Men, is coming to the Paramount Theater in May. OMG!!! I WANT to seem them and would LOVE to see them with my concert buddy!
Father and daughter night out (your treat…lucky!)
Let me know…, NOW!!!!!!!! ;)
TTYL,Jen
Message Action Broker + Get More Apps
Overview
Buy Tickets
Seating Chart
Maps & Direction
sNearby
Paramount Theater
Seattle, WA901 Pine Street98101An iconic venue in the heart of Seattle, the Paramount Theater presents the best in Broadway shows and live entertainment. Originally opened in 1928 the theater has been restored and maintained as one of Seattle's premier entertainment venues.
James Whittaker
Fri 2/23/2013 4:35 PM
Jennifer WhittakerOF Monsters And Men Coming!
Hey Dad,
One of my favorite bands, Of Monsters And Men, is coming to the Paramount Theater in May. OMG!!! I WANT to seem them and would LOVE to see them with my concert buddy!
Father and daughter night out (your treat…lucky!)
Let me know…, NOW!!!!!!!! ;)
TTYL,Jen
Message Action Broker + Get More Apps
Overview
Buy Tickets
Seating Chart
Maps & Direction
sNearby
Paramount Theater
Sunday, April 2nd Nick CaveSunday, April 10th Jillian MichaelsWednesday, April 13th Chris TuckerApril 16th – April 23rd Black WatchMay 1st – May 5th Black WatchFriday, May 11th Russell PetersTuesday, May 14th Of Monster And Men
+ Check Traffic
+ Confirm Reservation+ Map
+ Seating Chart+ Map+ Parking
コミュニケーションを解析し、そのコンテキストを類推する。 =
Knowすぐに次の行動に移る事ができる。
= Do
『夏休みの予定を立てませんか ? 』
“ ハワイに行きたいな。”
『 5 月 12 の週がベストシーズンですよ。』
『 5 月 12 の週がベストシーズンですよ。』
“Let me clear your schedule & find the
best flights for you.”
Alaska Airlines Flight 0864Depart SeattleArrive Kahului 11:10 local
Depart 7:10 Seattle to San Jose
Arrive Kahului 1:30 local.
$448.20Coach
$650.30First
Layover
Depart 8:05 Seattle Arrive Kahului 11:10 local.
$580.40 Coach$940.30First
Depart 9:30 Seattle to SLC
Layover
Depart 2:00 local to Honolulu
$420.20 Coach$550.30First
Layover
Arrive Kahului 10:30 local.
Depart 4:30 Seattle to SLC
Layover
Depart 8:00 pm local to Honolulu
『既存の予定を無くしてみましょう。フライトの空き状況はこのようになっています。』
$398.20 Coach$520.30First
Layover
Arrive Kahului 6:30 local.
FlightContinued
Alaska Airlines Flight 0864Depart SeattleArrive Kahului 11:10 local
LodgingB&Bs on thebeach that are pet friendly
Hotels your friends have recommended
Highest rated hotels
All hotels available
Matilda’s B&B $125-$255 per night15174 East Maliki Road, Kahuli, HI 808-437-9422 | Pool, Kids Stay Free…
Little Cottage B&B $135-$205 per night3218 Happy Trails, Kahuli, HI 808-435-8888 | Unique, Private Resort…Maalaea Bay B&B $575-$650 per night21764 North Bend Lane, Kahuli, HI808-437-9564 | Private Beach…
Seashore B&B $95-$155 per night2475 Seashore Blvd, Kahuli, HI808-421-7763 | Pet Friendly, Group Rates…
Hilltop B&B $195-$225 per night1600 Pennsylvania Ave, Kahuli, HI 808-456-1212 | Regal and Elegant…
Terrace Views B&B $225-$275 per night742 Evergreen Terrace, Kahuli, HI808-437-3221 | Stunning Views of Terraces…
Maalea Bay B&B: Sunday May 12 – Saturday May 18
『こちらがおすすめのホテルです』
Alaska Airlines Flight 0864 Depart 8:00a SeattleArrive Kahului 1:15p
5Dinning Water Sports Sight
SeeingOff the Beaten Path
Dinning Off The Beaten Path
Sashimi Palace $35-$200 per plate86458 Grand Avenue, West Kahuli, HI
808-436-5444 | Finest fusion in…Lani’s Steakhouse $65-$105 per plate76587 Sunset Place, Suite F, Kahuli, HI808-432-1775 | Laid back atmo…
Hurricane Ridge $25-$75 per plateMon – Sun 11 am to midnightSpecial rates for children
Activities For The Week
Zip Line Through The Canopy Mon 2 pm, Tues 2 pm, Fri 10 am, Sat…$55 kids & seniors, $75 adults & studentsNighttime Roast On The BeachTues @ 4, Fri @ 4, Fri @ 6, Sat @ 4, Sat…$99 Family Special, $62 adult, $22 kids
Kahului Open Air Market seasonal hours
Beginner Scuba Lessons & RentalMon 1 pm, Tues 1 pm, Fri 11 am, Sat…$55 for your 1st hr/lesson, $25 ea hr after
Zip Line 2pm start time
Nighttime Roast Family Special
『こちらがおすすめのアクティビティです。』
Maalea Bay B&B: Sunday May 12 – Saturday May 18
Alaska Airlines Flight 0864Depart SeattleArrive Kahului 11:10 local
『楽しいご旅行を ! 』Luau At The
HotelEarly Registration
Face PaintingCoupon code THX1138
Snorkeling LessonsRental Equipment Included
Alaska Airlines Flight 8467Depart KahuluiArrive Seattle 4:10 local
Movie NightKids only
Alaska Airlines Flight 0864 Depart 8:00a SeattleArrive Kahului 1:15p
Zip Line 2pm start time
Nighttime Roast Family Special
Maalea Bay B&B: Sunday May 12 – Saturday May 18
Lani’s With Bob and Nancy
ワークフローの中心たるコンテキストが Canvas に
なる。次のステップに適切な
サービスを探し、 = Know呼び出す = Do
#azurejp#azurejp
#azurejpCortana
タスク遂行のための
あなたのパーソナル アシス
タント
#azurejpデバイス横断
#azurejp女子高生人工知能りんな( LINE アプリ)Bing 検索エンジンで培ったディープラーニング技術+機械学習のクラウドサービス「 Azure Machine Learning 」を組み合わせた人工知能
• Bing チームによる開発(技術開発には Microsoft Research も参画)
• 発表以前のテストリリース後、口コミだけで1週間で 35 万ユーザーを獲得
ZIP! 8/18
LINE ID :@ms_rinna
#azurejpSHARP× りんな in Twitter
シャープさん 5 年のツイートをわずか 7時間で!
#azurejp感情的な会話と「能力」
長く続く会話と能力で、ユーザの心をつかむ
#azurejp
EmotionalProductivity
明日の天気は晴れです。
どこか出かける予定でもある
の?
明日晴れるかなぁ?
「りんな」のコンセプト – Emotional AI
#azurejp
Skype SDK
対人間
Office 365Group
Connector
対人間
ルールベース
自動化
AI
BotFramework Cortana りんな
Connector
Directory SDK
AI 、プログラミング と 人
#azurejp#azurejp
#azurejp
Bot がビジネスのための新しいチャネルとなる
様々なサービスやデバイスを横断して顧客へリーチ
より自然な会話型での、エンゲージメント
製品やサービスを、モバイルと相性の良い各種メッセージングサービスへ組み込む
顧客体験を向上させ、人間によるアシスタントを効率化
#azurejp
Cortana Intelligence
Conversations as a Platform
Bot Framework
Cortana Your personal
assistant
Cognitive Services
#azurejp会話を補助するダイアログの例• 受付の例
音声⇒テキストデータ
テキストデータ⇒音声
顔認証
担当社員への連絡
こんにちは。○○株式会社の□□と申します。
本日△△さんと 11:00 からお約束しております。
返答テキストの作成
会議室予約との照合
自然言語分析
Intent: MTGEntities CompanyName:○○株式会社 VisitorName: □□ RequesterName: △△ MeetingDateTime: Today, 11:00
□□様、お待ちしておりました。××番の会議室までお越しください。
#azurejp
旅行 BotConversational Agent
宿泊予約 飛行機の予約
ご挨拶 (Hello!) 会員確認Dialogs/Tasks
Parameters ( なし ) チェックイン日
チェックアウト日
人数 (部屋の種類 )
概算見積もり
出発場所
…..到着場所
認証
特別オファー
#azurejp
www.botframework.com
#azurejp
Bot Connector Serviceボットをテキスト /SMS 、 Office 365 メール、 Skype 、 Slack 、 Twitter などにシームレスに接続
ボットを登録し、チャネルを構成し、 Bot Directory に発行するサービス
Bot Builder SDKNode.js や C# のボットで素晴らしい対話を構築するためのSDK
GitHub でのオープン ソース SDK
Bot Directory [近日公開 ]
ボットを発見、試用、追加
Bot Framework で登録、承認されたボットの公開ディレクトリ
Bot Framework
#azurejpBot Connector
#azurejpルールベースの自然言語解析
#azurejp#azurejp
#azurejpMachine Learning の適用領域数学的・統計学的手法を使い、データの関連性の解析や予測を行うニューラルネットワーク、クラスタリング等のテクニック(Source: IDC2003) 」
レコメンデーション
広告効果分析
ビジネスへの気象情報活用
SNS 分析
IT インフラ ・Web アクセス解析
法的ドキュメントの検証
価格最適化 不正検知
顧客解約分析
機器予防保全
ロジスティクス最適化
カスタマイズ保険
#azurejp
ImageNet最大規模のイメージデータセット
– 120 万の学習用イメージ、 10 のテスト用イメージ– 1000 クラス
深層学習が変える画像認識
http://image-net.org
Series1
28.2 25.8
16.411.7
7.3 6.7 5.1 3.5
2010 2011 Utronto 2012 NYU 2013 Oxford 2014 GoogleNet 2014 Human Microsoft 2015
#azurejp機械学習のモデルを 作る <-> 使う
Azure Storage = クラウドストレージ
Azure Data Lake = 大規模分散処理
Azure Machine
Learning = 機械学習
Microsoft Cognitive Service
Azure Media Analytics
Project Cambridge
Storage
Compute
API
Application
HadoopAzure VM
Python / R,TensorFlow
,CNTK
(Microsoft)
ML Engine
Spark + MLLib Project Oxford
#azurejpMicrosoft Cognitive ServicesVision Speech Languag
e SearchKnowledge
Face
ComputerVision
Emotion
Video
Speaker RecognitionCustomRecognition
Bing Speech
LinguisticAnalysisLanguageUnderstanding
BingSpell Check
Web LanguageModel
Text Analytics
KnowledgeExploration
Entity Linking
AcademicKnowledge
Recommendations
Bing Image SearchBing Video Search
Bing Web Search
Bing Autosuggest
Bing News Search
Preview
Private
#azurejpCognitive Services がサポートVision Speech Languag
e SearchKnowledge
Face
ComputerVision
Emotion
Video
Speaker RecognitionCustomRecognition
Bing Speech
LinguisticAnalysisLanguageUnderstanding
BingSpell Check
Web LanguageModel
Text Analytics
KnowledgeExploration
Entity Linking
AcademicKnowledge
Recommendations
Bing Image SearchBing Video Search
Bing Web Search
Bing Autosuggest
Bing News Search
Preview
Private
見る+
認知機能
聞く / 話す+
認知機能
言語+
認知機能画像 / ビデオの
読解顔識別、感情判
別
話し手の識別文章の聞き取り & 理解
情報+
認知機能文章読解
文意、文脈の理解Web/ 学術情報 / ビックデー
タを集約
検索+
認知機能Bing 検索エンジ
ンによる検索
#azurejpMicrosoft Cognitive Services: Vision
画像情報の読み取り
感情の推測
画像内の顔認識 &分析
動画の補正、顔や動きの検出
見る + 認知機能
Preview
Face
ComputerVision
Emotion
Video
Vision
#azurejpVision Speech Language SearchKnowledg
e
• 画像分析• オブジェクト、カラー、画像 /絵、アウトライン化
• 顔 : 年齢 /性別 / 表示位置• タグ、キャプション付
け• 画像から文字データの
読み取り (OCR: Optical Character Recognition)
• 画像の趣旨に沿った サムネイル画像の作成
Computer Vision API
A GOAL WITHOUTA PLAN IS
JUST A WISH
Analyze image
OCR
Smart thumbnail
Category People; 1 face found
Adult FalseBlack & White?
No
Dominant colorsAccent color
#azurejpVision Speech Language SearchKnowledg
e
• 顔検出• 年齢、性別• 顔認識• 顔検証• 類似検索• グループ化• 顔認証
Face API "faceId": "48cdf8c8-841c-4d33-b875-1710a3fc6542", "faceRectangle": { “width”: 228,“height”: 228, "left": 460,"top": 125 }, "faceAttributes": { "age": 23.5,"gender": "female", "headPose": {"roll": -16.5,"yaw": 22.1,"pitch": 0}, "smile": 0.998, "facialHair": {"moustache": 0,"beard": 0,"sideburns": 0}, "glasses": "ReadingGlasses" }
Detection Result
Grouping
Identity
#azurejp
• 感情認識• 喜び、驚き、悲しみ、怒り、恐れ、嫌悪、軽蔑、中立
Emotion APIVision Speech Languag
e SearchKnowledge
"faceRectangle": { "left": 289, "top": 209, "width": 117, "height": 117 }, "scores": { "anger": 0.0003364322, "contempt": 0.008513732, "disgust": 0.000237169676, "fear": 0.001399079, "happiness": 0.03209325, "neutral": 0.1274486, "sadness": 0.000152969456, "surprise": 0.8298188 }
"faceRectangle": { "left": 479, “top”: 190, “width”: 158, "height": 158 }, "scores": { "anger": 0.00001619889, "contempt": 0.000121588469, "disgust": 0.0000216889184, "fear": 0.00138592813, "happiness": 0.00001577913, "neutral": 0.002224847, "sadness": 0.00000300440252, "surprise": 0.996211 }
#azurejpMicrosoft Cognitive Services: Speech
Speaker RecognitionCustomRecognition
Bing Speech
Speech
文章認識の精度をあげるカスタマイズ
話し手の認識
文章↔音声
聞く / 話す + 認知機能
Preview
#azurejp
Speech Intent Recognition
Text to Speech Conversion
Speech Recognition450 6th St.
San Francisco
"450 sixth St in San Francisco.""For 50 six St San Francisco.""456th St San Francisco."
• Speech-to-Text (音声→テキスト )• 9 言語 / 17 地域
• Text-to-Speech ( テキスト→音声 )• 18 言語 / 28 地域 *ja-jp 含む
Bing Speech APIVision Speech Languag
e SearchKnowledge
#azurejp
Is this Anna’s voice?
Anna
AnnaMike
Mary
Who’s voice is this?
Speaker Recognition
Speaker Verification
• 声紋登録による話し手認識• Y/N判定• 認証
Speaker Recognition APIVision Speech Languag
e SearchKnowledge
#azurejpMicrosoft Cognitive Services: Speech
Speaker RecognitionCustomRecognition
Bing Speech
Speech
文章認識の精度をあげるカスタマイズ
話し手の認識
文章↔音声
聞く / 話す + 認知機能
Preview
#azurejpMicrosoft Cognitive Services: Language
LinguisticAnalysisLanguageUnderstanding
BingSpell Check
Web LanguageModel
Text Analytics
Language
スペルチェック、校正
自然言語からの文意、キーワード抽出
自然言語の文章構造解析
キーフレーズ / トピック抽出、ポジネガ分析、言語判定
言語 + 認知機能
関連性の高いキーワードの抽出、ある単語に続く言葉の推測
Preview
#azurejp
Read me the headlinesLanguage
Understanding Intelligent Service (LUIS)• 自然言語からの文意や
キーワードの抽出• Intent : 文章の意図 ( インテ
ント )• Entity: 文章におけるエン
ティティ
Intent
TextToSpeech
Entity
Content: NewsHeadlines
Intent PlayVideoEntity Content: Daily
ShowDateTime.date: T-1 Day
Intent PauseDeviceEntity DateTime.duration:
5 Minutes
Play yesterday’s Daily Show
Pause for 5 minutes
Vision Speech Language SearchKnowledg
e
#azurejp
Language Understanding Intelligent Service (LUIS)• 自然言語からの文意や
キーワードの抽出• Intent : 文章の意図 ( インテ
ント )• Entity: 文章におけるエン
ティティ
Vision Speech Language SearchKnowledg
e
#azurejpDialog のフローに、独自のデータを盛り込む
Dialog
<< Dialog 判定 >>Microsoft Cognitive Services
API 呼び出し
パラメーターとしての文字・画像・映像作成と
会話文作成
Your Data
#azurejp#azurejp
#azurejp画面遷移から、会話での入力へ
+
Canvas Bot
#azurejp
Cortana Intelligence
Conversations as a Platform
Bot Framework
Cortana Your personal
assistant
Cognitive Services
© 2014 Microsoft Corporation. All rights reserved. Microsoft, Windows and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries.The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of this presentation. MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
#azurejp#azurejp
#azurejpBot Framework Resources & Videos• Bot Framework Home Page
• https://dev.botframework.com/ • Bot Builder SDK on GitHub
• https://github.com/Microsoft/BotBuilder • Bot Framework Blog
• https://blog.botframework.com/ • //Build Reaction - Cortana and the Bot Framework
• https://channel9.msdn.com/Blogs/raw-tech/Build-Reaction-Cortana-and-the-Bot-Framework
• Cloud Cover Ep. 206: Bot Framework with Mike Hall• https://channel9.msdn.com/Shows/Cloud+Cover/Episode-206-Bot-Framewor
k-with-Mike-Hall
#azurejpBot Framework Demos• Bot Framework Template for Visual Studio
• http://aka.ms/bf-bc-vstemplate • Bot Framework Samples in GitHub
• https://github.com/Microsoft/BotBuilder
#azurejpCognitive Services 開発情報• 開発ツール
• Visual Studio 2015• * Visual Studio Community 2015 ( 無償 ) 可• Cognitive Services (旧 : Project Oxford) Client SDK & Samples• https://github.com/Microsoft/ProjectOxford-clientsdk
• 開発ドキュメント• Microsoft Cognitive Services > Documentation• https://www.microsoft.com/cognitive-services/en-us/documentation
• Microsoft Cognitive Services APIs• https://dev.projectoxford.ai/docs/services/• https://bingapis.portal.azure-api.net/docs/services/
#azurejpサブスクリプション &料金体系• 基本的に無料
• 試用申し込み * が必要• *マイクロソフトアカウン
トに紐づけ• https://www.microsoft.co
m/cognitive-services/en-us/pricing
• LUIS, CRIS は専用ページ• https://www.luis.ai/• https://www.cris.ai/
• 一部有料オプションあり• (Azure ポータルから購入 )
• https://portal.azure.com
#azurejpde:code 2016 セッションビデオ
https://channel9.msdn.com/Events/de-code/2016/DBP-018
https://channel9.msdn.com/Events/de-code/2016/DBP-019
#azurejp
POST https://api.projectoxford.ai/face/v1.0/detect?returnFaceId=false&returnFaceAttributes=age,gender,smileOcp-Apim-Subscription-Key: •••••••••••••••••{ url: http://example.com/example.jpg}
Content-Type: application/json; [ { "faceRectangle": { "top": 30, "left": 62, "width": 49, "height": 49 }, "faceAttributes": { "smile": 0.999, "gender": "female", "age": 25.9 } }]
#azurejp
using Microsoft.ProjectOxford.Face;using Microsoft.ProjectOxford.Face.Contract;private async Task<FaceRectangle[]> DetectFaces(string imageFilePath){ try { using (Stream imageFileStream = File.OpenRead(imageFilePath)) { var faces = await faceServiceClient.DetectAsync(imageFileStream); var faceRects = faces.Select(face => face.FaceRectangle); return faceRects.ToArray(); }}