amazon sumerian による vr / ar / mr...

© 2019, Amazon Web Services, Inc. or its affiliates. All rights reserved.SUMMIT

Amazon Sumerian によるVR / AR / MR アプリケーションの開発

大井友三アマゾンウェブサービスジャパン株式会社技術統括本部ヘルスケア・ライフサイエンスソリューション部ソリューションアーキテクト

H 2 - 0 1


本セッションで取り扱う内容

Amazon Sumerian のご紹介

Amazon Sumerian の活用シーン

VR / AR / MR のアプリケーション作成の流れ

デモ（Sumerian 単体 / 他のサービスとの連携）


本セッションをご覧いただきたい方

Amazon Sumerian を利用すると、どのようなことができるのか知りたい方

Amazon Sumerian を利用して、どのように VR / AR / MR のアプリケーションを作っていくのか知りたい方

※ご紹介するデモは AWS IoT Core や Amazon Kinesis Data Streams を併用しておりますので、これらのサービスに関する知識をお持ちであれば、より理解いただきやすいものになっております


VR / AR / MR の定義

XRx R

V R

Augmented R

Mixed R


XR のアプリを作るにあたって

何が必要？どうやって作る？


一般的な XR アプリケーション開発のプロセス

アプリケーションの発案からユーザーの手元に届くまでに、多くのステップを踏む

•

•

•

•

発案

3Dエンジンの準備

デバイス SDK の準備

プラットフォームの登録

プラットフォーム SDK

の準備

開発

配信ストアの承認待ち

アプリの公開

アプリを発見

アプリの購入

ダウンロード待ち

アプリの利用


一般的な XR アプリケーション開発のプロセス

1つのプラットフォームに提供するために、これだけのプロセスを通る

•

•

•

•

… For one

platform


マルチプラットフォームでの開発プロセス

•

•

•

•

提供するプラットフォームが増えると、その数だけ必要なプロセスも増えていく


Amazon Sumerian による開発プロセスの簡素化

他の AWS のサービス同様、アイデアをいち早く形にしてユーザーに届けるために・・・


Amazon Sumerian の特徴

XR コンテンツを簡単に開発・配信するために必要なツールや配信基盤を提供

Web ブラウザベースの開発環境

マルチプラットフォームの利用者環境

Sumerian Host

AWS のサービスとの緊密な連携


Web ブラウザベースの開発環境

通常の XR コンテンツ作成

- 専用のソフトウェアやグラフィクスカードを搭載するような機器の準備など先行投資が必要

Amazon Sumerian を用いたXR コンテンツの作成

- PC や Mac と汎用的な Web ブラウザ(Chrome または Firefox) だけで開発可能- Sumerianは従量課金で利用可


マルチプラットフォームの利用者環境

様々なデバイス（プラットフォーム）でコンテンツを利用可能

モバイル向けブラウザ• iOS: Safari (iOS 11 or later)

• Android: Chrome 69 or later

デスクトップ向けブラウザ• Firefox 61 or later

• Chrome 69 or later

VR ヘッドセット• HTC Vive / HTC Vive Pro

• Oculus Rift / Oculus Go

• Samsung Gear VR

• Lenovo Mirage Solo

• Google Daydream

AR プラットフォーム• ARKit (iOS)、ARCore (Android)

• 対応デバイス• https://www.apple.com/jp/ios/augmented-reality/)

• https://developers.google.com/ar/discover/supported-devices)

https://www.apple.com/jp/ios/augmented-reality/

https://developers.google.com/ar/discover/supported-devices


Sumerian Host

セリフに合わせて口を動かしたりジェスチャを行うキャラクター

• 8 人のキャラクター (2019 / 06 / 13 時点)

• SSML (※) 形式でセリフを記述することで、セリフに合わせた口の動きやジェスチャを行う

• Amazon Polly / Amazon Lex を用いて音声でのチャットボットにも応用可

<speak><mark name="gesture:wave"/><break time=".5s"/>Hello, my name is Cristine. I <mark name="gesture:self"/> am a Sumerian host.<break time=".25s"/>Please <mark name="gesture:aggressive"/> enjoy AWS Summit Tokyo

</speak>

※SSML : “Speech Synthesis Markup Language” の略で、W3Cが標準化を進めている音声合成マークアップ言語


他の AWS サービスとの連携

予め組み込まれている AWS SDK を使って AWS の各種サービスの API を利用例) AWS IoT との連携


XR を活用したユースケース


AR Navigation System | NEC ソリューションイノベータ様

https://devpost.com/software/arnavigationsystem

https://www.youtube.com/watch?v=iApveNDkp0k

https://www.nec-solutioninnovators.co.jp/ss/arvr/feature/award/index.html

• Image Recognition で、浅草駅のA3

出口の地図をかざすと浅草寺まで AR

で道案内をしてくれる

• Amazon Sumerian AR/VR Challenge の “Best Entertainment, Hospitality,

and Media” を受賞

https://devpost.com/software/arnavigationsystem

https://www.youtube.com/watch?v=iApveNDkp0k

https://www.nec-solutioninnovators.co.jp/ss/arvr/feature/award/index.html


Sumerian でよく出てくる用語

• シーン• Sumerian で作成された XR のコンテンツ

• エンティティ• シーン内で実際に使用されている 3D もしくは 2D のオブジェクト

• アセット• シーンで利用することができる 3D もしくは 2D のオブジェクト

• 予め用意されているアセットも利用できる（継続的に追加されている）

• CAD のデータを読み込んで利用することも可能


Sumerian でのアプリケーション作成

• Sumerian の基本操作• シーンの作成から公開

• XR アプリケーションの作成例• 仮想的なドローンをキーボードで操作する


シーンの作成から公開

空のシーンの

作成

エンティティ

の配置公開


Sumerian でのアプリケーション作成

• Sumerian の基本操作• シーンの作成から公開

• XR アプリケーションの作成例• 仮想的なドローンをキーボードで操作する


ここでは、カーソルキーを利用して X 軸方向と Y 軸方向を操作する

仮想的なドローンをキーボードで操作する

X軸

Y軸


キー操作できるように、 “ステートマシン” と呼ばれる機能を利用


“ステートマシン”キー操作やエンティティを移動したり回転したりなど、状態変化を与えるための機能


エンティティに対してステートマシンを紐づける



“↑” キーを押すと、Y 軸方向に動くように定義する


Y軸


“↑” キーが押されたことを検知させる


Y軸


Y 軸方向に “2” だけ徐々に加速・減速しながら移動するように設定


Y軸


2 つのステートを連結する



そのほかのキーに対しても同様に設定していく




補足：より複雑な状態変化が必要な場合は JavaScript で記述していく


ご覧いただくデモ

• Sumerian 単体で実現するデモ• 危険体験（足場からの落下シミュレーション）

• 他の AWS サービスと連携するデモ• デジタルツイン


チュートリアルの活用

チュートリアルを応用することで、効率的に作成することができますhttps://docs.sumerian.amazonaws.com/tutorials/

https://docs.sumerian.amazonaws.com/tutorials/


危険体験（足場からの落下シミュレーション）


ベースとなるチュートリアル[Physics Part 1]https://docs.sumerian.amazonaws.com/tutorials/create/beginner/physics-part-1/

https://docs.sumerian.amazonaws.com/tutorials/create/beginner/physics-part-1/



していく



足場や床は衝突に対してのみ反応させるようにする



キー操作を受け入れるようにステートマシンを設定


デジタルツイン


デモで使用した IoT 機器について


ベースとなるチュートリアル[IoT Thing, Shadow, and Script Actions]https://docs.sumerian.amazonaws.com/tutorials/create/intermediate/iot-thing-shadow-script/

https://docs.sumerian.amazonaws.com/tutorials/create/intermediate/iot-thing-shadow-script/



1. LED ディスプレイ制御

2. センサー情報の表示

3. 姿勢の追随

4. ジョイスティックでのエンティティ操作



全体アーキテクチャ





3. 姿勢の追随




タップした天気のマーク（エンティティ）を LED に表示する

ジョイスティック

温度・湿度・気圧センサー

ジャイロセンサー

Kinesis Data Stream

AWS IoT

AWS IoT



天気マークのエンティティがクリックされると、

それに応じてステートマシンが呼び出される



AWS IoT に JSON 形式のデータを送るスクリプト (JavaScript) を呼び出す

{“state”: {“reported”: {“weather”: “S”

}}

}



Raspberry Pi で AWS IoT からデータを取得し、内容に応じて LED を表示させる

{“state”: {“reported”: {“weather”: “S”

}}

}





3. 姿勢の追随



2. センサ情報の表示

温度・湿度・気圧をシーン上にニアリアルタイムで可視化

LED ディスプレイ



Kinesis Data Stream

AWS IoT

AWS IoT

AWS IoT



センサーの情報 (気温、湿度、気圧) を AWS IoT に定期的に送信

{"state": {"reported": {"temperature": "25.0","pressure": "1002.1","humidity": "35.0",

}}

}



Sumerian が定期的に AWS IoT からデータをスクリプトで取得

{"state": {"reported": {"temperature": "25.0","pressure": "1002.1","humidity": "35.0",

}}

}



取得したデータを HTML で構成された画面に表示





3. 姿勢の追随



3. 姿勢の追随

Raspberry Pi の姿勢をジャイロセンサーで検出し、エンティティでニアリアルタイムに再現


3. 姿勢の追随

アーキテクチャ




Kinesis Data Stream

AWS IoT

AWS IoT

AWS IoT


3. 姿勢の追随

ジャイロセンサーの情報を、Kinesis Data Stream にストリーミングで送信する

{“pitch” : 20.0000,“roll” : -10.0000,“yaw” : 45.0000

}


3. 姿勢の追随

定期的に Kinesis Data Stream からデータを読み出す

{“pitch” : 20.0000,“roll” : -10.0000,“yaw” : 45.0000

}


3. 姿勢の追随

スクリプトでエンティティの姿勢を変える処理を記述





3. 姿勢の追随




ジョイスティックを操作してエンティティを前後左右に移動させる



アーキテクチャ





Kinesis Data Stream

AWS IoT

AWS IoT

AWS IoT



ジョイスティックの状態が変わるごとに AWS IoT にデータを送る

{“action” : “pressed”,“direction” : “up”

}



AWS IoT から継続してデータを読み取り

{“action” : “pressed”,“direction” : “up”

}



スクリプトでエンティティの位置を変える動作を記述


リソース

公式ドキュメントhttps://docs.aws.amazon.com/ja_jp/sumerian/latest/userguide/amazon-sumerian.html

Learning Amazon Sumerian | 4段階のレベル分けで60 以上のチュートリアルを提供https://docs.sumerian.amazonaws.com/

YouTube | チュートリアルなどのデモをオンデマンドでご提供https://www.youtube.com/channel/UCm1ec-SgYpZO_4dCE_7h48g

Twitch | ライブでのデモをご提供https://www.twitch.tv/aws

Slack | Sumerian 開発チームや世界中の開発者とのコミュニケーションhttp://slack.sumerian.aws/

https://docs.aws.amazon.com/ja_jp/sumerian/latest/userguide/amazon-sumerian.html

https://docs.sumerian.amazonaws.com/

https://www.youtube.com/channel/UCm1ec-SgYpZO_4dCE_7h48g

https://www.twitch.tv/aws

http://slack.sumerian.aws/


本セッションのまとめ

• Sumerian を利用することで、 AR/VR コンテンツを簡単に作成して配信することができます

• 予め組み込まれている AWS SDK を利用することで、他の AWS のサービスと連携することができます

• チュートリアルを活用することで、効率的に学習や開発ができます

ちょっと Sumerian で面白いもの作ってみよう

Thank you!


amazon sumerian による vr / ar / mr...

Documents