Download - 基于多帧融合的视频超分辨率技术研究
![Page 1: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/1.jpg)
基于多帧融合的视频超分辨率技术研究
VIP
报告人:卓 越 导 师:刘家瑛 冯速
2012.5.18
本科生毕业答辩
![Page 2: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/2.jpg)
2
VIP 内容安排 研究背景和问题难点
问题的提出 问题难点及相关研究
论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率
总结及未来工作 主要工作总结 未来工作
![Page 3: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/3.jpg)
3
VIP 内容安排 研究背景和问题难点
问题的提出 问题难点及相关研究
论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率
总结及未来工作 主要工作总结 未来工作
![Page 4: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/4.jpg)
4
VIP 问题的提出 计算机硬件的发展
计算速度、存储容量、显示设备 如何解决高分辨率图像获取的问题?
硬件方法 减少像素大小:采光量减少,产生噪声,工艺极限
![Page 5: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/5.jpg)
5
VIP 超分辨率重建 目标
通过软件技术提高图像或视频的分辨率
![Page 6: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/6.jpg)
6
VIP 理想的超分辨率重建
![Page 7: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/7.jpg)
7
VIP
把 LR 输出到 HR 设备SDTV HDTV个人 DV 视频打印
识别细节或有待进一步处理
节省资源视频编码方案: HR LR Receiver HR
应用场景
编码传输下采样 SR
![Page 8: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/8.jpg)
8
VIP 问题难点 运动估计
准确的运动估计很困难:尤其当不仅是全局运动时 错误的运动估计会严重影响超分辨率重建结果
![Page 9: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/9.jpg)
9
VIP 相关研究 基于显式运动估计的 SR
联合估计置信掩模( confidence map )
基于隐式运动估计的 SR核回归概率运动估计
![Page 10: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/10.jpg)
10
VIP 内容安排 研究背景和问题难点
问题的提出 问题难点及相关研究
论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率
总结及未来工作 主要工作总结 未来工作
![Page 11: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/11.jpg)
11
VIP 论文主要工作
输入低分辨率视频帧
显式运动估计
隐式运动估计
超分辨率重建 输出高分辨率图像
![Page 12: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/12.jpg)
12
VIP 基于隐式运动估计的 SR
输入低分辨率视频帧
显式运动估计
隐式运动估计
超分辨率重建 输出高分辨率图像
![Page 13: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/13.jpg)
13
VIP 概率运动估计的思想
第 15 帧
第 16 帧
第 14 帧
![Page 14: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/14.jpg)
14
VIP 需要解决的问题 搜索窗口
固定的搜索窗口不能捕捉物体运动
相似性度量 没有考虑旋转 相似度低
![Page 15: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/15.jpg)
15
VIP 算法框架输入低分辨
率视频帧
搜索窗口重定位
旋转不变的相似性度量
超分辨率重建
插值
![Page 16: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/16.jpg)
16
VIP 算法简述 重定位搜索窗口
采用块搜索的方法 旋转不变的相似性度量
同时考虑局部结构和亮度 用 SIFT 描述子描述局部结构,每一圈的亮度均值描述局部亮度
自适应参数选择 平衡结构项和亮度项 固定 σ2 ,自适应选择 σ1
2 2
2 22 2
1 2
, , , , , , , ,1, , , exp exp ,
,
P i j r P k l r I i j r I k l rw k l i j
C k l
22, ,
1 0
min , , , ,,
i j N k lP i j r P k l r
stepL
![Page 17: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/17.jpg)
17
VIP 实验分析 模拟成像过程
用 3×3 的均一掩模模糊按 1:3 的比例下采样加入均方差为 2 的噪声
测试输入单帧图像 视频序列
![Page 18: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/18.jpg)
18
VIP
Original Bicubic
NLM SR ARI
![Page 19: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/19.jpg)
19
VIP
Original Bicubic
NLM SR ARI-SWR
![Page 20: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/20.jpg)
20
VIP PSNR
测试序列 Bicubic NLM SR ARI-SWR
Monarch 22.64 22.30 23.00
Ice 28.38 28.37 28.89
soccer 28.45 27.80 28.61
![Page 21: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/21.jpg)
21
VIP 基于显式运动估计的 SR
输入低分辨率视频帧
显式运动估计
隐式运动估计
超分辨率重建 输出高分辨率图像
![Page 22: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/22.jpg)
22
VIP 方法提出的动机 增加运动估计的准确性
特征点匹配具有较高的准确性把特征点的运动转化成整个图像的运动
消除运动不匹配区域的影响利用置信掩模并参考图像边缘
![Page 23: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/23.jpg)
23
VIP 算法框架输入低分辨
率视频帧
特征点匹配
局部仿射参数估计
支持区域搜索
超分辨率重建
插值
![Page 24: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/24.jpg)
24
VIP 算法简述 局部仿射变换参数估计
用 Lucas-Kanade 算法计算每一对特征匹配对 (fir, fi
d) 的仿射运动模型参数 Ti
支持区域搜索 特征点匹配对 (fi
r, fid) 的支持区域 Si 定义为候选帧 Hd内 fi
d周围的区域,这个区域内的所有点都满足运动参数 Ti。
超分辨率重建 根据特征匹配对的运动参数和支持区域提取出 Mk 和 Vk
2
2
1ˆ arg min2 k k k k
H k
H DB V M H L H x dx
,r d di i
x
H T x H x x N f
![Page 25: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/25.jpg)
25
VIP 实验分析 模拟成像过程
用 3×3 方差为 1 的高斯掩模模糊按 1:2 的比例下采样加入均方差为 1 的噪声
测试输入模拟全局运动视频序列
![Page 26: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/26.jpg)
26
VIP
![Page 27: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/27.jpg)
27
VIP
![Page 28: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/28.jpg)
28
VIP PSNR
测试序列 Bicubic Deblurred Bicubic ARI-SWR
lena 31.27 32.84 34.66
mobile 26.41 28.23 28.46
![Page 29: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/29.jpg)
29
VIP 主要内容 研究背景和问题难点
问题的提出 问题难点及相关研究
论文主要工作 概述 基于隐式运动估计的超分辨率 基于显式运动估计的超分辨率
总结及未来工作 主要工作总结 未来工作
![Page 30: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/30.jpg)
30
VIP 工作总结
输入低分辨率视频帧
显式运动估计
隐式运动估计
超分辨率重建 输出高分辨率图像
利用特征点匹配计算局部运动参数,搜索支持区域得到可靠的运动
通过重定位搜索窗口找到潜在相似块,用旋转不变的相似性度量和自适应参数选择方法为每一个块分
配一个合理的权值
![Page 31: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/31.jpg)
31
VIP
欢迎提出意见和建议
![Page 32: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/32.jpg)
32
VIP Demo
Bicubic ARI-SWR
![Page 33: 基于多帧融合的视频超分辨率技术研究](https://reader036.vdocuments.pub/reader036/viewer/2022062321/56813303550346895d99bf61/html5/thumbnails/33.jpg)
33
VIP Demo
Bicubic ARI-SWR