Download - 基于多帧融合的视频超分辨率技术研究
基于多帧融合的视频超分辨率技术研究
VIP
报告人:卓 越 导 师:刘家瑛 冯速
2012.5.18
本科生毕业答辩
2
VIP 内容安排 研究背景和问题难点
问题的提出 问题难点及相关研究
论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率
总结及未来工作 主要工作总结 未来工作
3
VIP 内容安排 研究背景和问题难点
问题的提出 问题难点及相关研究
论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率
总结及未来工作 主要工作总结 未来工作
4
VIP 问题的提出 计算机硬件的发展
计算速度、存储容量、显示设备 如何解决高分辨率图像获取的问题?
硬件方法 减少像素大小:采光量减少,产生噪声,工艺极限
5
VIP 超分辨率重建 目标
通过软件技术提高图像或视频的分辨率
6
VIP 理想的超分辨率重建
7
VIP
把 LR 输出到 HR 设备SDTV HDTV个人 DV 视频打印
识别细节或有待进一步处理
节省资源视频编码方案: HR LR Receiver HR
应用场景
编码传输下采样 SR
8
VIP 问题难点 运动估计
准确的运动估计很困难:尤其当不仅是全局运动时 错误的运动估计会严重影响超分辨率重建结果
9
VIP 相关研究 基于显式运动估计的 SR
联合估计置信掩模( confidence map )
基于隐式运动估计的 SR核回归概率运动估计
10
VIP 内容安排 研究背景和问题难点
问题的提出 问题难点及相关研究
论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率
总结及未来工作 主要工作总结 未来工作
11
VIP 论文主要工作
输入低分辨率视频帧
显式运动估计
隐式运动估计
超分辨率重建 输出高分辨率图像
12
VIP 基于隐式运动估计的 SR
输入低分辨率视频帧
显式运动估计
隐式运动估计
超分辨率重建 输出高分辨率图像
13
VIP 概率运动估计的思想
第 15 帧
第 16 帧
第 14 帧
14
VIP 需要解决的问题 搜索窗口
固定的搜索窗口不能捕捉物体运动
相似性度量 没有考虑旋转 相似度低
15
VIP 算法框架输入低分辨
率视频帧
搜索窗口重定位
旋转不变的相似性度量
超分辨率重建
插值
16
VIP 算法简述 重定位搜索窗口
采用块搜索的方法 旋转不变的相似性度量
同时考虑局部结构和亮度 用 SIFT 描述子描述局部结构,每一圈的亮度均值描述局部亮度
自适应参数选择 平衡结构项和亮度项 固定 σ2 ,自适应选择 σ1
2 2
2 22 2
1 2
, , , , , , , ,1, , , exp exp ,
,
P i j r P k l r I i j r I k l rw k l i j
C k l
22, ,
1 0
min , , , ,,
i j N k lP i j r P k l r
stepL
17
VIP 实验分析 模拟成像过程
用 3×3 的均一掩模模糊按 1:3 的比例下采样加入均方差为 2 的噪声
测试输入单帧图像 视频序列
18
VIP
Original Bicubic
NLM SR ARI
19
VIP
Original Bicubic
NLM SR ARI-SWR
20
VIP PSNR
测试序列 Bicubic NLM SR ARI-SWR
Monarch 22.64 22.30 23.00
Ice 28.38 28.37 28.89
soccer 28.45 27.80 28.61
21
VIP 基于显式运动估计的 SR
输入低分辨率视频帧
显式运动估计
隐式运动估计
超分辨率重建 输出高分辨率图像
22
VIP 方法提出的动机 增加运动估计的准确性
特征点匹配具有较高的准确性把特征点的运动转化成整个图像的运动
消除运动不匹配区域的影响利用置信掩模并参考图像边缘
23
VIP 算法框架输入低分辨
率视频帧
特征点匹配
局部仿射参数估计
支持区域搜索
超分辨率重建
插值
24
VIP 算法简述 局部仿射变换参数估计
用 Lucas-Kanade 算法计算每一对特征匹配对 (fir, fi
d) 的仿射运动模型参数 Ti
支持区域搜索 特征点匹配对 (fi
r, fid) 的支持区域 Si 定义为候选帧 Hd内 fi
d周围的区域,这个区域内的所有点都满足运动参数 Ti。
超分辨率重建 根据特征匹配对的运动参数和支持区域提取出 Mk 和 Vk
2
2
1ˆ arg min2 k k k k
H k
H DB V M H L H x dx
,r d di i
x
H T x H x x N f
25
VIP 实验分析 模拟成像过程
用 3×3 方差为 1 的高斯掩模模糊按 1:2 的比例下采样加入均方差为 1 的噪声
测试输入模拟全局运动视频序列
26
VIP
27
VIP
28
VIP PSNR
测试序列 Bicubic Deblurred Bicubic ARI-SWR
lena 31.27 32.84 34.66
mobile 26.41 28.23 28.46
29
VIP 主要内容 研究背景和问题难点
问题的提出 问题难点及相关研究
论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率
总结及未来工作 主要工作总结 未来工作
30
VIP 工作总结
输入低分辨率视频帧
显式运动估计
隐式运动估计
超分辨率重建 输出高分辨率图像
利用特征点匹配计算局部运动参数,搜索支持区域得到可靠的运动
通过重定位搜索窗口找到潜在相似块,用旋转不变的相似性度量和自适应参数选择方法为每一个块分
配一个合理的权值
31
VIP
欢迎提出意见和建议
32
VIP Demo
Bicubic ARI-SWR
33
VIP Demo
Bicubic ARI-SWR