マルチメディア・コンテンツの内容記述と検索

1

JSPS - RFTF AMCP Project

マルチメディア・コンテンツの内容記述と検索

田中克己京都大学大学院情報学研究科

社会情報学専攻[email protected]

2


マルチメディア・コンテンツの内容記述と検索

情報の配送と提示情報組織化

情報検索

情報流通

情報の組織化・構造化によるメタデータ生成

情報のパーソナライゼーション

協調アノテーション

情報の検索と探査

連続メディアデータと半構造データ

コンテンツの内容記述と

検索のモデル

コンテンツの権利処理と

アクセス管理インタラクションによる検索

3


メタデータの種類

映像コンテンツのメタデータと内容記述

– NHK クローズドキャプション (15 秒 delay ，音声認識 )

映像信号やカメラから抽出できるメタデータ

音声・画像認識から抽出できるメタデータ

– EPG( 電子番組表 ) ，番組インデックス (ARIB) ，データ放送 (BML ， BXML)

– 権利情報

手動で制作されているメタデータ

関連する Web コンテンツ

4


標準化

メタデータ（内容記述）の表現モデル

– 内容記述のための記述子，記述スキーマ，記述定義言語等

MPEG7

– 著作権情報，コンテンツ ID

MPEG21

記述モデル– Informedia( 金出 )

構造化法 ( セグメンテーション法 )

– OVID( 田中 ) ：内容記述情報の継承– Algebraic Video(Weiss) ：入れ子型層状化

層状化法

5


内容記述（索引付与）の困難さ

音声・画像認識から抽出できるメタデータビデオ区間の特定の困難さ

• 索引の断片性，該当区間が不明，推定の必要性

• 情報の重複や誤り画像と音声の相補的な関係

• 検索用語とのギャップ手動で制作されるメタデータ

コストと帯域（データ放送）関連する Web コンテンツ

映像コンテンツとの関連性の発見

ScoopCast・ライブ映像の動的編集配信システム・音声内容記述・映像索引・映像のマルチキャスト配信・キーワードによる映像フィルタリング・有限オートマトンによる区間推定

6


内容記述（索引付与）の困難さ

情報の欠落や重複

打者投手動作結果今岡野村

野村投げた野村投げました

今岡 , 投げた打ちましたショートゴロ矢野野村投げました矢野 , 投げた打ちました , センターフライアウト

ハンセン野村投げました投げました

野村投げました投げた

ラジオと TV映像と音声の相補性

「ピッチャー野村が投げた」

索引（キーワード）の断片性と該当区間の不明

ピッチャー野村投げた

7


Query By Cameraカメラ情報からのメタデータ生成と検索

検索結果画面

問合せ映像検索結果注目被写体範囲のアニメーション

問合せ形成画面

8


映像コンテンツの検索モデル

連続メディアデータのための代数的検索断片的で素なインデックスを有するビデオ

データに対する検索操作の理論的基盤代数的な検索操作と質問処理最適化

9


「女性」と「犬」による検索

断片的で疎な索引からの映像検索ビデオストリーム

womandog

parkpark woman dogparkdog

画像フレームまたはショット単位で付加されたキーワード群

意味のある一連の映像

park parkdog dogwoman

dogwoman

断絶のある映像

womandog

womandog dogキーワード検索によって

意味のある映像を得る

10


グルー結合演算

区間グルー区間 x,y を含む最少区間

区間集合への拡張 Pairwise Glue Powerset Glue

x y

x y

x y

x1 ,

y2 }

x2 }

y1 ,

X={

Y={

X * YX Y

x1 x2 y1

x2 y1 y2X * Y

x1 y1

X Y

x1 y2

x2 y1x2 y2

３つの pairwise glues に還元可能 X ＊ Y = (X X) (Y Y)

11


– σkey=‘woman’(I) ：キーワード‘ woman’ が付いた区間を検索– σwidth 1000≦ (I) ：区間長が 1000 以下のものを検索

区間長フィルタ FW は選択・グルー質問で push down 可

σFw(X ＊ Y)=σFw(σFw(X X) σFw(Y Y))選択・グルー質問の最適化の可能性

選択演算 (Filters)

区間長フィルタ FW ：区間長が w 以下のものを検索

woman dog区間長

– σF(I) : 区間集合 I から，条件 ( フィルタ） F を満たす区間集合を選択

選択演算 σF(I)

フィルタ

12


F(i)= true となる任意の区間 i に対して， i のすべての部分区間 i’ が F(i’)= true を満たす．

関係データベースにおける質問の最適化処理とのアナロジー

最適化可能フィルタ

– σF(X ＊ Y)=σF( (X X) (Y Y))

グルー質問結果への選択演算の適用

– σF(X ＊ Y)=σF(σF(X X) σF(Y Y))

最適化可能であるための必要十分条件

区間 i30 60 フィルタ F

OK

部分区間 i’5040

OK

13


ノイズ長フィルタ含まれるノイズの最大長が N 未満の区間を返す

Video stream

区間論理フィルタ Allen の区間論理にもとづくフィルタ

Video stream

Woman appears before dog

時間的な関係

有用な最適化可能フィルタ

noise　 > Nwoman dog NG

noise < N noise < N

dogwoman dog OK

dog woman NG

dogwoman OK

14


最適化可能フィルタのpush down の効果

15


コンテンツの権利処理とアクセス管理

目的マルチメディアコンテンツの安全な流通とコンテンツ個別化のための機構の実現

研究概要

– 版権管理機能と適切な課金処理機能の実現

カプセル化コンテンツと LoS 制御

– ActiveWeb

作者の意図と利用者アクセス履歴に基づくコンテンツ個別化

– 異なるメディアのコンテンツの融合のための作者の意図記述

コンテンツ複合化のための意図記述

16


Java を用いたカプセル化コンテンツ

– Java のクラス内部に画像データをカプセル化– ユーザ認証機能・表示変更機能により，ユーザ毎のサービス

の変更が可能

不正ユーザに対する保護機能

認証されたカプセル化コンテンツ

認証されていないカプセル化コンテンツ

認証サーバへの認証要求

17


サービスレンジに基づく LoS 制御同価値のサービスとなるサービスの領域に課金動的にサービスの配分を変更し、必要なサービスに価値を集中

サービスレベルを向上サービスレベルを低下

制御前

制御後

18


作者の意図と利用者アクセス履歴に基づくコンテンツ個別化

利用者の閲覧・視聴履歴と位置・時間によってコンテンツの内容を動的に変化させる．

簡単なルール表現で作成者が設定可能とする．技術的には，アクティブ DB 技術を発展的に適用

19


ActiveWeb 著者の意図と利用者のアクセス履歴・状況による

内容のパーソナライゼーション

能動ルールの収集・

評価

アクセス履歴 DB

能動ルール

DB

ActiveWeb サーバ

個別化・複合化されたコンテンツ

XML ルール生成

ルールの検索

ユーザアクセス

動的なコンテンツ生

成

著者による意図表現入力

コンテンツの個別化 / 適応化Author Intention (Metadat

a)

コンテンツ作者の意図

User Intention (Profile)

ユーザの意図・嗜好・振る舞い

Personalization

個人への対応

・ Krakatoa Chronicle　 -Web 新聞， relevance feedback・ Banner 広告埋め込み　 -Baudish ら， relevance feedback　 -Langheirich ら，非侵入的．　　 keyword/banner click 関連度・ e-commerce (Ceri ら）　 - 購買履歴， active rule 活用・ Web サイトの仮想化 (Atzeniら )

Adaptation

環境への対応

・ Content Transcoding (IBM)　 -PDA/Mobile 対応　 - 外部注釈ファイル (XML/RDF)・ Synchronized Content　 -Rousseau ら　 - 同期化コンテンツの動的生成


コンテンツの個別化 / 適応化Author Intention (Metadata)

コンテンツ作者の意図User Intention (Profile)

ユーザの意図・嗜好・振る舞い

Personalization

個人への対応・我々のアプローチ　 -Metadata としての ECAルール　 - ページアクセス履歴とアクセス　　　場所時間を条件･　 - ページリンクのアクセス･権管理　 - コンテンツ作者の意図表現　 -XML タグ拡張による実現

　

Adaptation

環境への対応

・我々のアプローチ

　　 - 受動的視聴コンテンツ作者の　　　 explicit な同期化指定と　　演出表現 (S-XML)

・我々のアプローチ

　 - 同期化推定と演出付加による　　自動変換　 - 利用者によるスタイル選択

デジタル TV やモバイル機器での受動的視聴


22


コンテンツの複合化に関する意図記述著作権に加えて，コンテンツの複合化・同期化・個別化・配信環境に関するコンテンツ作者の意図記述

– 能動型ルールによる意図記述– XML 表現によってコンテンツと一体化– コンテンツの動的生成時に能動型ルールを処

理ルール例

– 「この画像の提示中に必ずこのテキストを読み上げる」– 「このキーワードを有する映像を配信する際は最初にこの CM を流

す」– 「この画像を提示する場合は同種類の画像を提示しない」

複合化に関する意図記述例

– 「ここ 2 週間頻繁にアクセスしているユーザには配信コンテンツを追加する」

利用者のアクセス履歴に関するルール例

– 「この映像を短縮して配信する場合，指定の箇所は必ず配信する」

配信環境に関するルール例

23


コンテンツ複合化に関わる作者の意図記述小泉純一郎

です。・・・

・・

小泉純一郎は日本の総理大

臣で自民党・・

午前中からこうして大勢の

みなさまが・・・・・

元のコンテンツに別のコンテンツを挿入

24


新しい放送型情報環境放送＋インターネット＋データベース

映像・音声・メタデータ

放送コンテンツの再構造化

Web

放送

– 関連情報の Web からの発見，映像インデックス自動生成– 生成コンテンツの受動的視聴環境– 蓄積型テレビ機能を用いたパーソナルな番組コンテンツ生成

放送・ Web コンテンツの融合によるコンテンツ作成

– 新鮮度・ローカル度などの新しい尺度による検索– サーバ型放送のための理論的基盤

新しい情報放送環境に向けて

関連情報の検索

マルチメディア・コンテンツの 内容記述と検索

Documents

マルチメディア・コンテンツの内容記述と検索