1

焦点の異なる複数画像から 全焦点画像の合成方法

電気通信大学 情報理工学部

情報・通信工学科

教授 張 熙

2

朝日新聞ニュース (２０１１年６月２５日)

3

研究背景

異なる距離にある複数の被写体をカメラ等で撮影する場合，合焦している領域以外はぼけた画像が撮影される．

すべての被写体に合焦した焦点画像を一度に撮影することは不可能である．

そのため、従来から様々な全焦点画像の合成方法が開発されてきた．

4

研究背景

Lens Sensor

5

前景合焦 背景合焦

画像合成

全焦点画像

6

画素または固定サイズのマスク毎に合成 合成画像にぼけ情報の一部が残留

従来技術とその問題点

合焦領域に信号の変化量が大きいため、 全焦点画像合成には、 高周波数成分を利用した合成法、 ウェーブレット変換による方法など

7

従来技術とその問題点

合成画像にぼけ情報の一部が残留

8

従来技術とその問題点 画像１（対象物に焦点）

画像２（背景に焦点）

対象物

背景

差分情報が多い領域

9

新合成技術

複数枚画像から全ぼけ画像作成

全ぼけ画像と比較して鮮明領域を選択

各画像の鮮明領域から全焦点合成

10

○

新合成技術

マスクサイズ画素毎決定

B R G 鮮明領

域抽出 差分情報取得

マスク内判定

全焦点画像

領域毎ぼけ度推定

低域通過フィルタ ＋

ー

ー 画像1

画像2

全ぼけ画像

差分情報1

差分情報2

サイズを可変に

11

マスクサイズの決定 近景ぼけ残留画像

近景（白）が合焦

画像1（遠景ぼけ）

画像2（近景ぼけ） 理想の合成画像

小さいマスクサイズ

大きいマスクサイズ

遠景（白）が合焦

12

マスクサイズの決定

近景（白）が合焦

画像1（遠景ぼけ）

画像2（近景ぼけ） 理想の合成画像 大きいマスクサイズ

遠景（白）が合焦

遠景ぼけ残留画像 大き過ぎるマスクサイズ

13

マスクサイズの決定

画像１

ぼけ量 の推定

Rb=1 if |R1-R2|>T Rb=0 if |R1-R2|≤T

b=0 if Rb=Gb=Bb=0

b=1

otherwise

RGB

画像２

RGB

Bb=1 if |B1-B2|>T Bb=0 if |B1-B2|≤T

Gb=1 if |G1-G2|>T Gb=0 if |G1-G2|≤T

マスクサイズ 決定

T：閾値

14

従来技術との比較 従来技術 新技術

15

新技術の特徴

• 可変マスクサイズを用いて従来技術の問題点を改良することに成功した．

• 画像のぼけ度を推定することより、マスクサイズを適応的に決定することが可能となった．

• 本技術の適用により、より高速により鮮明な画像を合成できる．

16

想定される用途

• 本技術をデジタルカメラやデジタルビデオなどに実装できると考えられる．

• また，スマートフォンやタブレット端末にも応用できると考えられる．

• また、監視用カメラや顕微鏡などといった分野や用途に展開することも可能と思われる．

17

実用化に向けた課題

• 焦点が異なる複数の画像を高速に撮影する技術．

• 複数のカメラより、焦点が異なる複数の画像を同時に撮影する技術．

18

本技術に関する知的財産権

• 発明の名称 ：画像処理プログラムおよび 画像処理装置 • 出願番号 ：特願2011-263271 • 出願人 ：電気通信大学 • 発明者 ：張 熙

19

お問い合わせ先

国立大学法人電気通信大学

産学連携コーディネーター 小島 珠世

ＴＥＬ ０４２－４４３ － ５７８０

ＦＡＸ ０４２－４４３ － ５１０８

e-mail kojima@crc.uec.ac.jp