VideoAIの現状と今後の可能性

スマートライフシステム事業部

2019年10月24日

2

はじめに_講演の概略

• 5G時代を迎え、映像を中心としたサービス/コミュニケーションがさらに活発化する見込みです。

• まさに映像が溢れる世界において、映像理解のキーとなるメタデータを自動生成するVideoAIへの期待が

グローバルレベルで高まっています。

• 古くから映像を扱ってきたメディア業界を中心にVideoAI技術がどのように活用されているのかをユースケー

スベースでご紹介するとともに、技術の現在地と今後の可能性をご紹介します。

• 映像を活用したサービス開発に不可欠な技術です。是非、皆様と新たなユースケースを創出できればと考

えております。

VideoAIが求められる背景

3

4

背景：映像で溢れる時代

• IOT/5Gの時代。どんどん映像があがってくる。映像を活用しようとする事業者は増加の一途

• 溢れる映像をどう管理、活用するかはあらゆる産業の重要課題となる

・・・

あらゆるデバイスが接続され、映像が溢れる時代

消費者：動画配信サービス自分に必要な映像が見つけられない

小売事業者：顧客動向を知りたい店舗映像が大量にあり、人力では解析できない

想定されるユーザペイン

教育機関：生徒の満足度を高めたい授業を録り始めたが、活かしきれていない

5

Video AIとは

• 映像をデータに置き換える技術の総称

• メタデータを自動生成することで、映像の管理や利活用を促進

Edge Video Data

VideoAI

・Voice・Face・Object・OCR

DX

6

Video AIとは

• 映像をデータに置き換える技術の総称

• メタデータを自動生成することで、映像の管理や利活用を促進

・性年代・セレブリティ・感情

・物体・軌跡

・会話・トピック

・姿勢・動き

Video to Data

7

メタデータを生成する意味

・映像を管理する（例：大量の映像から欲しい映像をみつける / ある映像と近い他映像を見つける）

・シーンを特定する（例：講演中に歓声が上がった箇所）

映像を管理する

・人名（山田太郎）・トピック（VideoAI）・物体（大勢の人物が座っている）

映像からシーンを特定する

・・・・・・・ ・・・・・

00:00:00 01:00:00

00:10:00 00:25:45 00:43:10 00:50:15▼ ▼ ▼ ▼

VideoAIのユースケース

8

9

VideoAIのユースケース例 -メディア-

• 最も活用が進んでいるのはメディア業界だが、通信/SNS業界における活用も活発化

ビジネス

（マネタイズ）

業務

（省力化）

・ショッパブルビデオ（動画起点の購買体験）

・広告挿入/広告プレースメント

・制作業務の効率化（作業代替/検索性）

・権利処理業務の効率化（作業代替）

・過去アーカイブの利活用促進（作業代替）

サービス

（エンゲージメント）

・視聴体験のパーソナライズ

・マルチユースなワークフローの実現

コンテンツ制作プレイヤー 非コンテンツ制作プレイヤー

・違法動画検知（海賊版対策）

・コンテンツモデレート（不適切映像の排除）

・ユーザ動画管理

・ユーザ投稿動画からのハイライト生成

・他社コンテンツ理解

・新規メディア立ち上げ

10

VideoAI×制作

11

膨大な取材素材と過去アーカイブ映像

膨大な映像からの番組素材の選定

取材からコンテンツ制作までに多くの手間が介在手間を省略するのがVideo AIの役割

取材映像の書き起こしは倍の時間を要する

12

検索性の向上

• 大量の映像素材の中から欲しい映像、欲しいシーンにピンポイントでアクセス

• 人物/イベント軸での映像検索が可能

出典：YouTube「首相官邸チャンネル」

13

検索性の向上

顔ベースでのシーン検索

タグベースでのシーン検索

映像確認

映像解析結果

出典：YouTube「首相官邸チャンネル」

14

ワークフローのBeforeAfter

・VideoAIにより、アナログな粗編集や後処理を高速化かつリッチ化

・番組制作ワークフローをDXすることで、速報性/二次利用（利活用/配信/Social）を促進

DFDF素材の

文字起こし素材を最後まで全て確認

利用素材を選定

メタデータ入力

撮影権利処理

手動クリッピング 編集

×N回繰り返す

取材 粗編集（≒素材選定） 制作 二次利用

●Before：編集作業自体はIT化されているが、粗編集や二次利用のための処理はアナログ

●After：粗編集と後処理を高速化かつリッチ化

DFDF 自動メタ生成/

人手の補正撮影

自動権利処理/人手の補正

D&Dでクリッピング

編集

取材 粗編集（≒素材選定） 制作 二次利用

自動で整理整形

×N回繰り返す

× ×

×二次利用不可

15

VideoAI×マルチユース

16

プロゴルフツアーは18ホールあり、50～150人ほど参加するスポーツ

中継映像は選手/ホールが矢継ぎ早に変わる

Liveで人によって見たい箇所だけ提供することでゴルフ視聴の新たな楽しみ方を提案

人によって見たい選手/プレーは違う

17

ゴルフ中継映像からのメタデータ自動生成

・中継映像から取得可能なメタデータは何か？

・選手名・スタッツデータ・ショット内容（何ホール/何打目） ・観客の盛り上がり

・歓声

・物体・スペース・服の色/形

・ショットの種類（ドライバー/パター）・選手名

18

観客の反応からもメタデータを抽出

・リアルイベントの特性を活かし、観客の反応もコンテンツ制作の一部に活用

会場内に設置された巨大DataWallにカメラを設置 観客の表情/歓声をデータ化

19

リアルタイム映像解析＠全英オープン2019

ライブフィードからプレーヤーの動きを解析することでショットの種類、ガッツポーズの瞬間を自動で抽出。新しいゴルフ観戦スタイルを提案。

20

The Open Playback＠全英オープン2019

・映像解析を活用した能動的なゴルフ観戦

・ユーザの好きな切り口（ショット/ガッツポーズ/選手/ホール別）で視聴可能なリアルタイムサービス

ショット別（パター/ティーショット）

選手×ホール

選手×Day

ガッツポーズ

選手

自動付与されたタグべースでの回遊

Top

21

VideoAI×その他業界

22

（参考）VideoAIのユースケース例 –メディア以外-

・メディア業界以外においても、VideoAI活用は加速

・監視カメラを活用した映像解析に関する実証実験が多数

# カテゴリ ユースケース 概要 プレイヤー

1 Security 監視自動化踏切に設置された監視カメラの映像から、踏切内の異常を、当社が開発した映像解析プラットフォーム「SCORER」にて検知し、付近を走行中の電車の運転士や運行管理者等に、警告とともに映像を2秒以内に伝送する

フューチャースタンダード

2 Healthcare - オフィスリノベーションによる働き方改革が、社員の健康や行動に与える影響を明らかにする共同実証実験 ISID

3 Manufacturing 在庫管理ニチレイロジグループの冷蔵倉庫内の監視カメラの映像をもとに、カゴ車・パレット・フォークリフト・ダンボールを個別に認識し、動きの追跡の分析

Automagi

4 Government 交通量・通行量解析 走行中の車から道路を撮影し、人工知能(AI)を使って道路のひび割れや穴を検出する実証実験

5 Retail 導線/来店者分析券売機に外付けのWebカメラを設置し、映像解析AIを用いて来客者の情報を推定した。来客者属性の推定データと券売機の売り上げデータを照合することで、来客者の年代や性別ごとの嗜好を分析

富士そば/ニーリー

6 Government 交通量・通行量解析 長野市内の2ヶ所の計測地点に設置されたカメラ映像をAIで解析し、歩行者や自動車を自動で判別して集計 フューチャースタンダード

7 Government 交通量・通行量解析新バスターミナルに8台のネットワークカメラを設置し、映像解析による混雑把握および高度見守りサービスに関する実証実験を九大学研都市駅前の新バスターミナルでスタート

日立

8 Space マーケティングデータ化カメラ映像のAI解析を行い、人物の服装（春物コートの着用率）を判定。AI解析と気象予測情報を活用した生活コンテンツをテレビ番組で放送する実証実験

Spectee

9 Finance ATM詐欺防止横浜市内にある横浜信用金庫のATMコーナー2カ所に設置した監視カメラ映像と、マイクで収集した音声情報をもとに、AI技術を活用して、振り込め詐欺被害者の可能性を診断

NTT東日本

10 Security 監視自動化現在大手小売店舗と行なっている映像解析AI「VAAKEYE」の実証実験で、防犯カメラ6台 約3000時間分の映像から、11件の決定的な万引き行動が検知され、店舗・警察に情報提供したところ、万引き犯の逮捕

VAAK

11 Space保全技術の効率化・高度化

ドローンによる西の丸庭園内の巡回点検や城郭石垣の精密撮影、天守閣周辺の3次元モデルの作成のための実証実験

ミライト/ファシリティーズ

*直近1年を対象にしたWeb検索による調査結果

23

（参考）VideoAIのユースケース例 –メディア以外-

・メディア業界以外においても、VideoAI活用は加速

・監視カメラを活用した映像解析に関する実証実験が多数*直近1年を対象にしたWeb検索による調査結果

# カテゴリ ユースケース 概要 プレイヤー

12 Space マーケティングデータ化東京国立博物館の滞在者数をより正確に、リアルタイムで把握。沖電気の機器を活用したリアルタイムの滞在者数可視化、部屋ごとの混雑状況を把握

沖電気

13 Healthcare 介護人の行動解析映像をAIで分析することで従業員のオペレーションを可視化し、デイサービス施設に求められるニーズを分析。「OPTiMAI Camera」による転倒の事前検知やセンサーによる施設内環境管理など、データ予測により、利用者に寄り添った一人ひとりのケアプランニング

オプティム

14 プロSports 戦術・分析支援従来は人の目では難しかったオフ・ザ・ボールの分析や、膨大な時間を要する試合映像分析の省力化を可能にするサッカーアナリティクスツールの開発

データスタジアム

15 Space マーケティングデータ化電柱を活用したカメラシステムの実証事業を高松市内において開始。インターネット経由で映像データの記録・解析等を行い、防災・防犯・交通量分析・まちづくりなどの地域が抱える課題の解決に繋げていく ジーマックス

16 Agriculture 病気監視/欠乏検知さつまいも畑における作業省力化や病害虫被害把握の迅速化を図るため、ドローンとAI（人工知能）による画像解析を活用したスマート農業（病害虫検知・農薬散布）の実証事業

KDDI

17 プロSports 自動撮影 AIカメラ「Pixellot」を活用したスポーツ映像配信事業に関する共同実証実験 NTT西日本

18 Space マーケティングデータ化ドライブレコーダーから収集される動画データをAI技術で解析し、ガソリンスタンドのガソリン価格や駐車場の満空情報といった、道路沿いの視覚情報をテキスト化する実証実験

Yahoo! Japan

19 Space -全国にあるソフトバンクの基地局を活用した映像配信サービス。基地局を利用することによって、現在は情報カメラが設置できていないエリアにカメラを設置し、映像を撮影可能。撮影した映像を配信するだけでなく、AIによる画像解析も想定

ソフトバンク

20 Space保全技術の効率化・高度化

変電設備データを学習させたNTTデータの画像・映像解析AIにより、油入変圧器の漏油検知、外柵等の建物異常検知、アナログメーターの自動読み取り。合わせて、異音検知AIを活用し、機器稼動音を学習することで、ベアリング等の損傷や劣化を判別・検知

NTTデータ

VideoAIの技術動向と課題

24

25

VideoAIの現実 －その1－

・課題：とにかく単純労働（取材の書き起こし）を代替したい

・現実：映像のジャンル/映像の品質により適切なサービスは異なる

ジャンルサービス別の認識精度（単位：%）

A B C D

ドラマ 中 高

ロケ 低

芸能

情報

報道

（※）映像コンテンツ50本をサンプルとして評価を実施

エンドクレジットの映像

※投影のみ

VideoAIの現実 －その2－

・課題：映画のエンドクレジットから出演者/役名を抽出したい

・現実：AIを使う”だけ”では単なるデータの羅列。つまり、業務では使えない

Time results

0:00:00

Assoc VFX SupvOozeki YuiSoftware DevelopmentYamamura Urara

Honda RanTeranishi MiwaSuda IwaoVFX ProducerLead Shader WriterLine ProducerIwabuchi

KazuhiroCompositors

0:00:01

Science OfficerYabe ToshikoF X AnimatorTsutsumi YuraTashiro Eri3D Texture PainterAsst Digital

CoordShimamura Masao

Maruyama MaikoTakai ChisakoEditorsLighting TDAihara TsubasaLead ColorKamiyama ShihoproducerConceptual

Art

0:00:02Hamazaki MoeCG DesignerNagao SayakaIshizaki NaokoVFX ProducerLead Tec SupervisorTachikawa Shouji

AnimatorMurase KazueHagiwara TetsutarouFilm Recorder

0:00:03producerUsui TsukasaModelersFujishima MasayukiKamino KahoBandou FumihikoMatte Painting

VFX ProducerSystems ManagerTsuchihashi TomohiroAkiyama YukiSystems AdminTakashima TakakoKashiwagi

Kenichi

0:00:04Software DevelopmentLead Shader WriterMiyoshi AyaKuramoto NobutakaSystems SupportKawai RitsukoMinami

Ruri

Suda SanaKuramoto RyuuseiDigital F X ProducerHagiwara ShigeruKusakabe Susumu

0:00:05

VFX ProducerSystems ManagerTechnical SupervisorsHamazaki MoeMatte PaintingFujishima MasayukiSystems

AdminShimamura MasaoKawai RitsukoModelersBandou Fumihiko3D Texture PainterTashiro EriF X

AnimatorMaruyama MaikoTakai ChisakoAssoc VFX SupvSoftware DevelopmentYamamura UraraLine

ProducerEditorsCG DesignerSuda IwaoLead Shader WriterHonda RanAkiyama YukiTsutsumi YuraTachikawa

ShoujiOozeki YuiUsui TsukasaTeranishi MiwaCompositorsYabe ToshikoMinami RuriLighting TDHagiwara

ShigeruKusakabe SusumuNagao SayakaIshizaki NaokoKamino KahoSystems SupportKashiwagi KenichiLead Tec

SupervisorAnimatorMurase KazueIwabuchi KazuhiroScience OfficerAsst Digital CoordConceptual ArtSuda

SanaFilm RecorderHagiwara TetsutarouAihara TsubasaKamiyama ShihoDigital F Xe ProducerMiyoshi AyaLead

ColorTakashima TakakoTsuchihashi TomohiroKuramoto NobutakaTakase HibikiNakao KouichirouKuramoto

RyuuseiDigital F X Supervisor

0:00:06 VFX ProducerSasagawa GorouKakizaki YukaProd Aide – Aus

0:00:07Matte PaintingSystems AdminModelersAnimatorFilm RecorderProd Aide - AusProduction AideDigital F X

Supervisor

0:00:08

Ishizaki MiyakoSuda SanaKuramoto RyuuseiDigital F X SupervisorTakase HibikiNakao KouichirouProduction

AideDigital F Xe ProducerHagiwara ShigeruKusakabe SusumuTakeda MidoriSasagawa GorouTechnical

SupervisorsTakami HiroyukiKakizaki YukaTsukahara NozomiProd Aide - Aus

-

・マージ処理

・マスタ補正

・自然言語処理

・認識箇所特定/切取り

・背景除去

・背景音抑制

27

技術と業務/サービスの溝は大きい

・適切な技術を選定することは大前提

・業務/サービスに合わせて、適切な前後処理を施すことが重要

認識処理

（VideoAI）後処理前処理

必要な視点

機構

処理例

認識率を高める/処理を最適化する

適切な技術を選定する 業務/サービスに適合させる

28

VideoAIプロジェクトのKSF -5つの視点-

・AI技術だけでは成果はでない。5つの視点で考える

ヒトとデジタルの長所を活かした実行可能なプランニング

プランニング

高精度なAI技術と使いこなすノウハウ（≠PKG導入）

AI技術

アジャイル開発とヒトにFitするUI構築

UI Fitting

AIを駆使するための業務フロー整備

業務Fitting

優秀な知のDigital化と運営組織

データマネージメント

29

VideoAIプロジェクトのKSF -プロジェクト推進-

・技術部門/ユーザ/開発パートナーの1チームによるアジャイル開発

・実行可能な計画立案 ・ワークフロー組込みを想定したプロトタイプ開発・トライ&エラーの繰り返し（アジャイル開発）

・効果の見えた領域から商用展開

・段階的に商用利用を拡大

構想策定 サービス検証 商用導入（一部） 商用拡大

まとめ

30

31

最先端の技術を業務適用しやすい形に

・VisionData＋は、企業に眠る映像を活性化するVideoAIプラットフォーム

・企業の業務変革、顧客体験変革をオールインワンでサポート

VisionData+（セレクト可能）

VisionData+（セレクト不可）

映像受付 前処理 Multi AI連携 検索 画面

音声 文字 セレブ

重要語抽出 Unknown抽出

ターンキーソリューション映像の活性化（検索性の向上）に必要な機能を簡単に利用可能

MultiAIプラットフォームAzureなど世界最先端のコグニティブサービスだけでなく、独自エンジンをユースケースに合わせてセレクト可能

ユースケースに合わせて必要機能をセレクト可能認識対象と個別ユースケースが選択可能な柔軟性のある価格体系

独自ノウハウにより検索性をエンハンス映像を認識しやすく、認識結果を使いやすく変換する独自の前後処理。映像の検索性をエンハンス

現場が使いやすいGUI設計AIの専門的知識は不要。GUIベースで独自顔認識モデルを作成可能

オールインワンサポート構想策定~カスタマイズまで対応可能

Thank youNTTデータ

2019年10月24日