基于多帧融合的视频超分辨率技术研究

基于多帧融合的视频超分辨率技术研究

VIP

报告人：卓 越 导 师：刘家瑛 冯速

2012.5.18

本科生毕业答辩

2

VIP 内容安排 研究背景和问题难点

问题的提出 问题难点及相关研究

论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率

总结及未来工作 主要工作总结 未来工作

3

VIP 内容安排 研究背景和问题难点

问题的提出 问题难点及相关研究

论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率

总结及未来工作 主要工作总结 未来工作

4

VIP 问题的提出 计算机硬件的发展

计算速度、存储容量、显示设备 如何解决高分辨率图像获取的问题？

硬件方法 减少像素大小：采光量减少，产生噪声，工艺极限

5

VIP 超分辨率重建 目标

通过软件技术提高图像或视频的分辨率

6

VIP 理想的超分辨率重建

7

VIP

把 LR 输出到 HR 设备SDTV HDTV个人 DV 视频打印

识别细节或有待进一步处理

节省资源视频编码方案： HR LR Receiver HR

应用场景

编码传输下采样 SR

8

VIP 问题难点 运动估计

准确的运动估计很困难：尤其当不仅是全局运动时 错误的运动估计会严重影响超分辨率重建结果

9

VIP 相关研究 基于显式运动估计的 SR

联合估计置信掩模（ confidence map ）

基于隐式运动估计的 SR核回归概率运动估计

10

VIP 内容安排 研究背景和问题难点

问题的提出 问题难点及相关研究

论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率

总结及未来工作 主要工作总结 未来工作

11

VIP 论文主要工作

输入低分辨率视频帧

显式运动估计

隐式运动估计

超分辨率重建 输出高分辨率图像

12

VIP 基于隐式运动估计的 SR

输入低分辨率视频帧

显式运动估计

隐式运动估计

超分辨率重建 输出高分辨率图像

13

VIP 概率运动估计的思想

第 15 帧

第 16 帧

第 14 帧

14

VIP 需要解决的问题 搜索窗口

固定的搜索窗口不能捕捉物体运动

相似性度量 没有考虑旋转 相似度低

15

VIP 算法框架输入低分辨

率视频帧

搜索窗口重定位

旋转不变的相似性度量

超分辨率重建

插值

16

VIP 算法简述 重定位搜索窗口

采用块搜索的方法 旋转不变的相似性度量

同时考虑局部结构和亮度 用 SIFT 描述子描述局部结构，每一圈的亮度均值描述局部亮度

自适应参数选择 平衡结构项和亮度项 固定 σ2 ，自适应选择 σ1

2 2

2 22 2

1 2

, , , , , , , ,1, , , exp exp ,

,

P i j r P k l r I i j r I k l rw k l i j

C k l

22, ,

1 0

min , , , ,,

i j N k lP i j r P k l r

stepL

17

VIP 实验分析 模拟成像过程

用 3×3 的均一掩模模糊按 1:3 的比例下采样加入均方差为 2 的噪声

测试输入单帧图像 视频序列

18

VIP

Original Bicubic

NLM SR ARI

19

VIP

Original Bicubic

NLM SR ARI-SWR

20

VIP PSNR

测试序列 Bicubic NLM SR ARI-SWR

Monarch 22.64 22.30 23.00

Ice 28.38 28.37 28.89

soccer 28.45 27.80 28.61

21

VIP 基于显式运动估计的 SR

输入低分辨率视频帧

显式运动估计

隐式运动估计

超分辨率重建 输出高分辨率图像

22

VIP 方法提出的动机 增加运动估计的准确性

特征点匹配具有较高的准确性把特征点的运动转化成整个图像的运动

消除运动不匹配区域的影响利用置信掩模并参考图像边缘

23

VIP 算法框架输入低分辨

率视频帧

特征点匹配

局部仿射参数估计

支持区域搜索

超分辨率重建

插值

24

VIP 算法简述 局部仿射变换参数估计

用 Lucas-Kanade 算法计算每一对特征匹配对 (fir, fi

d) 的仿射运动模型参数 Ti

支持区域搜索 特征点匹配对 (fi

r, fid) 的支持区域 Si 定义为候选帧 Hd内 fi

d周围的区域，这个区域内的所有点都满足运动参数 Ti。

超分辨率重建 根据特征匹配对的运动参数和支持区域提取出 Mk 和 Vk

2

2

1ˆ arg min2 k k k k

H k

H DB V M H L H x dx

,r d di i

x

H T x H x x N f

25

VIP 实验分析 模拟成像过程

用 3×3 方差为 1 的高斯掩模模糊按 1:2 的比例下采样加入均方差为 1 的噪声

测试输入模拟全局运动视频序列

26

VIP

27

VIP

28

VIP PSNR

测试序列 Bicubic Deblurred Bicubic ARI-SWR

lena 31.27 32.84 34.66

mobile 26.41 28.23 28.46

29

VIP 主要内容 研究背景和问题难点

问题的提出 问题难点及相关研究

论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率

总结及未来工作 主要工作总结 未来工作

30

VIP 工作总结

输入低分辨率视频帧

显式运动估计

隐式运动估计

超分辨率重建 输出高分辨率图像

利用特征点匹配计算局部运动参数，搜索支持区域得到可靠的运动

通过重定位搜索窗口找到潜在相似块，用旋转不变的相似性度量和自适应参数选择方法为每一个块分

配一个合理的权值

31

VIP

欢迎提出意见和建议

32

VIP Demo

Bicubic ARI-SWR

33

VIP Demo

Bicubic ARI-SWR