工学院大学情報学部

情報デザイン学科合志 清一

2014年2月14日

映像のリアルタイム超解像化― 理論的限界を超える超解像技術 ―

映像はビッグデータ

• 非圧縮ハイビジョンデータは1.5Gbps1時間で162Tbit

• 4Kテレビはハイビジョンの8倍のデータ量• 8Kテレビはハイビジョンの16～32のデータ量

2K（ハイビジョン）から8Kへ

ハイビジョン(1920x1080)

4K(3840x2160)

8K(7680x4320)

時代は4Kテレビへ

4Kテレビが店頭に並んでも4Kコンテンツが無い

4Kテレビは販売されているけれど・・・

ハイビジョン放送も4Kテレビで見ればきれい？

ハイビジョン放送を高画質化して4Kテレビで表示

高画質化：見た目をきれいにする

高解像度化：解像度を向上させる

精細情報（エッジ）を検出

加算

エンハンサーやアンシャープマスクの名前で広く知られる技術

従 来 技 術

エンハンサーの欠点エンハンサーによるエッジ強調が強すぎるとノイズ（粒上雑音）が目立つ

http://www.toshiba.co.jp/regza/detail/superresolution/resolution.html

夢の技術超解像

超解像化

実現不可能！可能ならばハイビジョン放送は不要

ハイビジョンテレビに搭載された超解像技術は？

• 地上ディジタル放送の画質を超解像機能搭載のハイビジョン受信機と非搭載のハイビジョン受信機で比較

• ２台はいずれも55インチのフラグシップモデル• 画面を10Mピクセルのディジタルカメラで撮影

地上デジタル放送の画質

超解像機能搭載超解像機能未搭載 著作権取扱注意

超解像機能搭載テレビは同一サイズでも低解像度

ハイビジョン放送を受信し4Kテレビに表示すれば・・・。

繰り返し計算 低解像度画像

高解像度画像

再構成超解像による高解像度化

低解像度画像をたくさん集めると高解像度画像を作ることが出来る

http://www.nikikai21.net/blog/cat4/

テノール、バリトン、バスをたくさん集めるとソプラノの音になる

ボケ画像をたくさん集めると高精細画像を作ることができる

http://www.ok.ctrl.titech.ac.jp/res/CSR/NSR/index-ja.htmlよりダウンロード可能

現画像と再構成超解像画像で同一画角（拡大無し）

http://www.ok.ctrl.titech.ac.jp/res/CSR/NSR/index-ja.htmlよりダウンロード可能

図1 映像における連続フレーム

ビデオカメラ1ビデオカメラ2 ビデオカメラ3 ビデオカメラ4

図7 位相差を有する4枚の静止画

ビデオカメラ1

ビデオカメラ2

ビデオカメラ3

ビデオカメラ4

収束条件

難しい理論（数式）を使えば結果がよいわけではない

提 案 手 法

HPF CUB LMT

ADD

Image

Input

Image

Output

HPF: High Pass FilterCUB: CubeLMT: Limiter

ADD: Adder

The proposed method

(c)(b)(a)

(d)

Horizontal axes

Level

(a) Image Input

Horizontal axes

Level

(b) Output of HPF

Horizontal axes

Level

(c) Output of CUB

Horizontal axes

Level

(d) Image Output

解像度の定量的測定（従来手法では拡大画像の高精細化は困難）

図3の２次元フーリエ変換結果図2の２次元フーリエ変換結果図1の２次元フーリエ変換結果

図3. 提案手法による超解像化図1.縦横２倍に拡大した画像 図2.従来手法による高解像度化

HD->４K HD->４K＋超解像映像

SR with non-Linear signal processing

展示系統図

信号源（フルハイビジョン）

フルハイビジョン信号（1920x1080）

既存超解像機能付き4K TV

（3840x2160）

ハイビジョン=>4K TV拡大＋非線形超解像

4K TV(モニタ)（3840x2160）超解像機能無

非線形超解像ON/OFF可能

4K TV信号として入力 4K TV付属機能を用いてHDTV=>4K変換+超解像処理

（1920x1080）（3840x2160）

• (0.01)=0.218

• 工学院ON-既存間で優位水準1%有意差が存在

ヤードスティック結果：A

刺激間距離OFF-ON ON-既存 OFF-既存

1.55 1.53 0.03

-1 -0.5 0 0.5 1 1.5

OFF ON 既存

0.03 1.53

■ HD=>4K拡大(OFF) ▲ HD=>4K拡大+工学院超解像(ON) ◆ 既存4K+超解像(既存)

ヤードスティック結果：B

• (0.01) =0.193

• 工学院ON-既存間で優位水準1%有意差が存在

刺激間距離OFF-ON ON-既存 OFF-既存

1.73 1.67 0.07

-1 -0.5 0 0.5 1 1.5

OFF ON 既存

0.07 1.67

■ HD=>4K拡大(OFF) ▲ HD=>4K拡大+工学院超解像(ON) ◆ 既存4K+超解像(既存)

8K映像超解像処理前

8K映像超解像処理後

他の超解像技術との違い

1. 理論的限界（ナイキスト周波数）を超える高解像度化が可能

2. 処理が非常に軽い

理論的根拠提示

3. １枚の画像に適用可能

8K映像でリアルタイム（実時間）処理可能 再構成超解像では処理不可能

複数枚（フレーム）の映像は不要 再構成超解像は複数フレーム必要

4. フォーカスずれにも効果有り

1

お問い合わせ先

工学院大学 総合研究所

研究推進課 山岸 勉

ＴＥＬ ０４２－６２８－４９４０

ＦＡＸ ０４２－６２６－６７２６

e-mail souken@sc.kogakuin.ac.jp

Thank you!