知能情報・高度情報処理マルチメディア・コンテンツの高次処理の研究

1

2001 JSPS - SymposiumAMCP Project

知能情報・高度情報処理

マルチメディア・コンテンツの

高次処理の研究

西尾章治郎大阪大学大学院工学研究科

情報システム工学専攻[email protected]

平成９年度開始

2


プロジェクトリーダー

西尾章治郎（大阪大学）

コアメンバー

有木康雄（龍谷大学）

岸野文郎（大阪大学）

田中克己（神戸大学）

参加研究者

上原邦昭（神戸大学）

下條真司（大阪大学）

有川正俊（東京大学）

北村喜文（大阪大学）

塚本昌彦（大阪大学）

角谷和俊（神戸大学）

春本　要（大阪大学）

田島敬史（神戸大学）

正城敏博（大阪大学）

原隆浩（大阪大学）

AMCP‐Project 　参加研究者

3


本日の講演の内容

プロジェクトの概要本年度の成果平成 9 年度以降の活動の特記事項「インタラクションによるコンテン

ツの生成と提示」の研究内容

4


Hardware Software

MultimediaContents

void main()

・・

・・}

5


マルチメディア・コンテンツ

② 内容記述・検索モデルユーザ

③ アクセス管理機構④ 配送・フィルタリング

DB

① 組織化機構

部品化・蓄積

⑤ 提示機構

⑥ 生成支援機構共有・再利用

マルチメディアコンテンツ処理技術･

6


1. 組織化機構2. 内容記述・検索モデル3. アクセス管理機構4. 配送・フィルタリング5. 提示機構6. 生成支援機構

AMCP-Project のねらい

マルチメディアデータベース　　の新しいソフトウェアプラット　フォームの確立新分野の開拓の可能性

連続メディアの科学演出工学放送とデータベース

マルチメディア・コンテンツの高次処理の実現マルチメディアデータベースとしての高度機

能• 連続メディア，半構造メディア処理機能など

7


プロジェクトの成果の例

8


マルチメディア・コンテンツの特徴 (1)

s

TimeTime

Video image (1-D data)

Map (2-D data)Computer graphics (3-D data)

QualityQuality SpaceSpace

３つの連続性

9


A News Story

timetime

time

time

Micro-topic

ニュース番組の半構造ネットワーク

timetime

time

time

マルチメディア・コンテンツの特徴 (2) 半構造性

個々のニュース番組も

半構造表現

10


マルチメディアシステム開発の要件

User adaptation = Personalization

適応性 (Adaptation)ネットワーク環境端末環境コンテンツ制作者の意図 (author intention)ユーザの嗜好 (user preference)

個別化 (Personalization)ユーザの嗜好によるコンテンツ適応

11


映像メディアに対する知的構造化

解析系音声・話者認識の統合による構造化 (H9)映像・文字認識によるクロスメディア検索 (H10)

記述系映像データ中の内容記述モデルの開発 (H1

0)映像データ中の意味的構造の発見 (H11)

編集系映像メディア編集支援システム (H12)

解析系音声・話者認識の統合による構造化 (H9)映像・文字認識によるクロスメディア検索 (H10)

記述系映像データ中の内容記述モデルの開発 (H1

0)映像データ中の意味的構造の発見 (H11)

編集系映像メディア編集支援システム (H12)

1 組織化機構2 内容記述・検索モデル5 提示機構6 生成支援機構


12


素材映像

エディター

ロケ

カメラマン

指示指示

ディレクター

映像メディア編集支援システム

映像生成

検索インデキシング

撮り下ろし映像のデータベース

素材映像データベース

ディレクターは絵コンテを作成する

検索結果

映像文法

カメラマンは絵コンテにあう映像を撮影する

番組の映像として使用できるショットの自動抽出

ショットの代表フレームを表示

代表フレーム

カメラワーク

構図の方向

動作

人フォーカス

色

panfix fix1S/FF/F 0S 1S/CU/F 0S

FSTS TS LSright

R R L F

素材映像

static leftstatic

ショットの切れ目

映像メディア

編集支援システムの

ユー

ザインタフェー

ス映像メディア

編集支援システムの

ユー

ザインタフェー

ス

14


適応型コンテンツ配送アーキテクチャ

適応型Web コンテンツ配送ネットワーク環境への適応 (Adaptation) 端末，個人プロファイルの取り込み (Personalization) PDA のためのコンテンツ詳細度制御 (Synchronization)

インタラクティブコンテンツの品質制御サービス品質を考慮した配送アーキテクチャ

• 複数サーバへの負荷分散• マルチキャストの利用，詳細度制御 (Adaptation)

適応型Web コンテンツ配送ネットワーク環境への適応 (Adaptation) 端末，個人プロファイルの取り込み (Personalization) PDA のためのコンテンツ詳細度制御 (Synchronization)

インタラクティブコンテンツの品質制御サービス品質を考慮した配送アーキテクチャ

• 複数サーバへの負荷分散• マルチキャストの利用，詳細度制御 (Adaptation)

1 組織化機構

4 配送・フィルタリング

5 提示機構

1 組織化機構

4 配送・フィルタリング

5 提示機構

15


適応型Web コンテンツ配送

ブラウザ（ユーザ）

メタデータ

コンテンツ

コンテンツ要求

適応コンテンツの配送

WWWサーバ

コンテンツ適応機構

ユーザプロファイルの登録・更新

ユーザプロファイ

ル

コンテンツ配送サービスの適用

(abc company) (xyz company)

(bbb company)

•端末プロファイル

•個人プロファイル

個人化，同期化　端末・個人への適応ネットワーク環境への

適応

コンテンツ提供者

16


情報放送環境のためのデータベース

コンテンツの受動的視聴技術ディジタル TV ・携帯端末のための Web コンテンツの受動的視聴技術の開発

• Web コンテンツの自動番組化技術• 番組コンテンツ記述のための script 記述言語

(S-XML)

コンテンツの受動的視聴技術ディジタル TV ・携帯端末のための Web コンテンツの受動的視聴技術の開発

• Web コンテンツの自動番組化技術• 番組コンテンツ記述のための script 記述言語

(S-XML)

1 組織化機構2 内容記述4 フィルタリング5 提示機構6 生成支援機構

1 組織化機構2 内容記述4 フィルタリング5 提示機構6 生成支援機構

Relax!

17


コンテンツの受動的視聴技術の開発

A1

Web の受動的視聴

意味構造解析（部分文書抽出，タグ解析による同期化領域の発見）

台本自動生成（提示パス生成）

同期化コンテンツ

生成

S-XML

台本記述(S-XML)

news.com

ニュース

高橋尚子が国際千葉駅伝を欠場左ひざ痛で（ 17： 55）

高橋尚子が国際千葉駅伝を欠場　左ひざ痛で　シドニー五輪女子マラソンで金メダルを獲得した高橋尚子（積水化学）が、五輪後初の公式レースとして出場を予定していた23日の国際千葉駅伝を左ひざ痛のため欠場することになった。

通常の Web（ HTML 文書）

SMIL（映像ストリーム）

TVML（音声読み上げ，

CG アニメ）

18


空間メディア統合によるマルチメディア・コンテンツの提示

空間メディア統合映像空間メディア，　静止画空間メディア，　言語空間メディアとその統合手法の確立これらの空間メディアを基本として構築

した位置情報の統合管理・利用基盤の構築

応用システムの構築

空間メディア統合映像空間メディア，　静止画空間メディア，　言語空間メディアとその統合手法の確立これらの空間メディアを基本として構築

した位置情報の統合管理・利用基盤の構築

応用システムの構築



19


遠隔地ユーザの画面

遠隔地ユーザの操縦するシステム

遠隔地ユーザの操縦するシステム

現実空間にいるユーザ現実空間にいるユーザ

HMD-TOPHMD-TOP とと ROBO-TOPROBO-TOP によるによる現実空間でのコンテンツ共有現実空間でのコンテンツ共有

20


インタラクションによるコンテンツの生成と提示

映像データベースインデックス

• 映像特有の特徴パラメータ (形状，動き等 )検索キー

• 特徴パラメータを直感的に入力 ( ジェスチャ )検索結果

• コンテンツの生成に利用

映像データベースインデックス

• 映像特有の特徴パラメータ (形状，動き等 )検索キー

• 特徴パラメータを直感的に入力 ( ジェスチャ )検索結果

• コンテンツの生成に利用



21


AMCP-Project の大規模応用システム

実コンテンツと関連したプロトタイプバーチャル適塾・懐徳堂

•エデュテイメントとデータベースの一例エデュテイメントとデータベースの一例•ＡＭＣＰプロジェクトの最終年ＡＭＣＰプロジェクトの最終年

　　　２００１年５月完成予定　　　２００１年５月完成予定

実コンテンツと関連したプロトタイプバーチャル適塾・懐徳堂

•エデュテイメントとデータベースの一例エデュテイメントとデータベースの一例•ＡＭＣＰプロジェクトの最終年ＡＭＣＰプロジェクトの最終年

　　　２００１年５月完成予定　　　２００１年５月完成予定大阪大学グループ大阪大学７０周年

記念事業

22


適塾塾生データベース

検索画面

人物情報画面

23


国内外との連携・交流

AMCP’98で関連分野の著名な研究者を 6名を招聘　　　　→これらの研究者との継続した研究交流同様な国家プロジェクトを推進しているオランダ CWI ，

Univ. of Twente の研究グループとの情報交換米国 San Jose の NEC の研究所，シンガポール NUS な

どとの協調的な研究の継続 DBWeb2000 の共催

我が国のデータベース研究領域における最大規模のシンポジウム「マルチメディア・コンテンツの知的構造化」の研究会を共催（ 2000 年 11月）

AMCP’98で関連分野の著名な研究者を 6名を招聘　　　　→これらの研究者との継続した研究交流同様な国家プロジェクトを推進しているオランダ CWI ，

Univ. of Twente の研究グループとの情報交換米国 San Jose の NEC の研究所，シンガポール NUS な

どとの協調的な研究の継続 DBWeb2000 の共催

我が国のデータベース研究領域における最大規模のシンポジウム「マルチメディア・コンテンツの知的構造化」の研究会を共催（ 2000 年 11月）

24


これまでの研究業績（平成 9 年度のプロジェクト開始以降）

特許出願中 1 件公開を目的としたソフトウェアの開発１３件招待講演３４件招待論文（英文誌） 5編本プロジェクトを紹介した特集英文論文誌　（ＮＧＣ　 Vol. 18, No. 4, 2000) 論文誌掲載論文７９編国際会議録掲載論文１４８編国内シンポジウム・研究会・学会大会等３００編以

上岩波講座「マルチメディア情報学」　第７，８，１２巻

特許出願中 1 件公開を目的としたソフトウェアの開発１３件招待講演３４件招待論文（英文誌） 5編本プロジェクトを紹介した特集英文論文誌　（ＮＧＣ　 Vol. 18, No. 4, 2000) 論文誌掲載論文７９編国際会議録掲載論文１４８編国内シンポジウム・研究会・学会大会等３００編以

上岩波講座「マルチメディア情報学」　第７，８，１２巻

知能情報・高度情報処理 マルチメディア・コンテンツの 高次処理の研究

Documents

知能情報・高度情報処理マルチメディア・コンテンツの高次処理の研究