视频图像处理

相机模块

Camera module 主要的组成部分由： lens 和 Sensor IC ，其中有些 Sensor IC 是集成了 DSP ，有些是没有集成DSP ，没有集成 DSP 的 module 需要外部外挂 DSP 。

相机镜头 镜头是仅次于 CMOS 芯片影响画质的第二要素，其组成是透镜结

构，由几片透镜组成，一般可分为塑胶透镜（ plastic ）或玻璃透镜（ glass ）。当然，所谓塑胶透镜也非纯粹塑料，而是树脂镜片，当然其透光率感光性之类的光学指标是比不上镀膜镜片的。

通常摄像头用的镜头构造有：1P 、 2P 、 1G1P 、 1G2P 、 2G2P 、 2G3P 、 4G 、 5G等。透镜越多，成本越高，相对成像效果会更出色；而玻璃透镜又比树脂贵。因此一个品质好的摄像头应该是采用多层玻璃镜头！现在市场上的多数摄像头产品为了降低成本，一般会采用廉价的塑胶镜头或一玻一塑镜头（即： 1P 、 2P 、 1G1P 、 1G2P 等），对成像质量有很大影响！

相机芯片

在摄像头的主要组件中，最重要的是图像传感器了，因为感光器件对成像质量的重要性不言而喻。

Sensor 将从 lens 上传导过来的光线转换为电信号，再通过内部的 DA 转换为数字信号。由于 Sensor 的每个 pixel 只能感光 R光或者 B 光或者 G 光，因此每个像素此时存贮的是单色的，我们称之为 RAW DATA 数据。要想将每个像素的 RAW DATA 数据还原成三基色，就需要 ISP 来处理。

处理芯片

DSP 结构框架 :(1). ISP （ image signal processor ）（镜像信号处理器

）(2). JPEG encoder （ JPEG 图像解码器） ISP 的性能强大是决定影像流畅的关键， JPEG encoder

的性能也是关键指标之一。而 JPEG encoder 又分为硬件JPEG 压缩方式，和软件 RGB 压缩方式。DSP 控制芯片的作用是：将感光芯片获取的数据及时快速地传到 baseband 中并刷新感光芯片，因此控制芯片的好坏，直接决定画面品质（比如色彩饱和度、清晰度）与流畅度。

如果集成了 DSP ，则 RAW DATA 数据经过AWB 、 color matrix 、 lens shading 、 gamma 、 sharpness 、 AE 和 de-noise处理，后输出 YUV 或者 RGB 格式的数据。

相机工作过程

外部光线穿过 lens 后，经过 color filter 滤波后照射到Sensor 面上， Sensor 将从 lens 上传导过来的光线转换为电信号，再通过内部的 AD 转换为数字信号。如果Sensor 没有集成 DSP ，则通过 DVP 的方式传输到baseband ，此时的数据格式是 RAW RGB 。

OV7670

OV7670

视频记录

摄像头将光信号转换成电信号编码为 YUV422 或者 YUV420送给视频编码芯片。视频编码芯片将接收到的视频信号进行数字压缩编码为 H.263 、 H.264 、 MPEG4 等格式。 CPU将压缩后的数字信号进行操作，使其数据存入存储器或者显示在显示器上。

视频压缩

视频压缩算法是通过去除时间、空间或者频率域的冗余来实现的。左图中在高亮区域图像的变化很小，其冗余度很大。中图和左图是同一帧画面，去除某些高频成分。因为人眼和大脑对低频成分更加敏感，所以一些高频信息被去除并不影响这幅图被识别。而右图是左图下一帧的画面。这些画面序列是按照每秒 25帧的速度拍摄的。所以在 1/25秒的间隔内，相邻的 2副图帧有小小的差别，大部分内容保持不变。通过去除这些冗余，就可以明显的压缩数据，但是代价是一部分图像信息丢失。

视频播放

运动图像是通过在一个矩形窗口中以一定时间间隔连续拍照进行捕获，将这一组帧序列回放就产生了运动效果，越高的频率（帧率）采样，得到的视频越自然，同时也有更多数量的信号需要存储。

10f/s: 使用在低码率的视频通信，运动时会出现明显的跳跃和不自然

10-20f/s ：使用在低码率的视频通信，此时图像较平滑，但快速的运动会出现明显的跳跃和不自然

25-30f/s ：电视图像标准 50-60f/s ：会有非常自然的运动效果，但是代价是需要很高

的带宽。

空间采样

颜色空间是颜色集合的数学表示。三个最常用的颜色模式是： RGB颜色空间（用于计算机图形学中） CMYK颜色空间（用于彩色打印） YUV颜色空间（用于视频系统中）

RGB颜色空间 红、绿和蓝（ RGB ）颜色空间广泛应用于计算机图形学和显示器

。红绿蓝是三种基本的加性颜色（各个颜色成分相加来形成所需的颜色）。它是工业界的一种颜色标准，是通过对红 (R) 、绿 (G) 、蓝 (B) 三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的 。右图是用笛卡尔坐标系统来表示颜色空间。

CMYK颜色空间 印刷色彩模式，是一种依靠反光的色彩模式。基于油墨的光吸收 / 反

射特性。眼睛看到报纸图画的颜色实际上是其吸收白光中特定频率的光而反射其余的光的颜色。 CMYK代表印刷上用的四种颜色， C 代表青色，M 代表洋红色， Y 代表黄色， K 代表黑色。因为在实际引用中，青色、洋红色和黄色很难叠加形成真正的黑色，最多不过是褐色而已。因此才引入了 K——黑色。黑色的作用是强化暗调，加深暗部色彩。 RGB颜色空间与它的区别是，前者是“加色原则”，后者是“减色原则”；前者使用在显示器、投影仪等设备，后者使用在各色塑料、画布、印刷品 等。

YUV颜色空间 YUV颜色空间是三大复合颜色视频标准所采用的颜色空间。它的

Y 分量决定了颜色的明亮度（也有说是光亮度或者明度）， U 分量和 V 分量决定了颜色本身（色度）。 Y 分量的取值范围是 0 到 1 （或者数字值 0 到 255 ）， U 分量和 V 分量的取值范围是 -0.5 到 0.5 （或者有符号数字值 -128 到 127 ，无符号数字值 0 到 255）。下面这幅图展示的是 YUV 颜色空间立方体，从暗面（ Y 分量 = 0 ）看过去。注意中间那个全黑的位置，那里 U 分量和 V 分量的值都是 0 ， Y 分量的值也是一样。

YCbCr颜色空间

YCbCr颜色空间是 YUV颜色空间的一个分支。因为人类视觉系统对色度的敏感程度低于亮度，所以可以用比 Y 更低的分辨率来存储CbCr 。这样可以减少大量数据的同时对视觉质量没有明显的影响。 YCbCr 有几种采样格式，例如 4 ： 4 ： 4 、 4 ： 2 ： 2 、 4： 2 ： 0 等。

4 ： 4 ： 4YCbCr 格式 4 ： 4 ： 4YCbCr 格式就是 YUV444 采样。它是指每一分量

（ Y,Cb,Cr ）都有相同的分辨率，因为都在所有的像素位置上进行了采样。数字表示的是每一部分在水平方向上的相对采样频率。例如，每 4个亮度点对应 4 个 Cb 和 4 个 Cr 。 4:4:4保留了所有的色差分量。每个像素点的各颜色分量需要 8位数据，合计是 24位。

4 ： 2 ： 2YCbCr 格式 4 ： 2 ： 2YCbCr 格式就是 YUV422 采样。它是指色差在垂直方向

的分辨率与亮度相同，而水平方向只有一半，即例如，每 4 个亮度点对应 2个 Cb 和 2 个 Cr 。每个像素点的各颜色分量需要 8位数据，合计是 16位。

4 ： 2 ： 0YCbCr 格式

4 ： 2 ： 0YCbCr 格式就是 YUV420 采样。它是指色差在垂直方向和水平方向的分辨率都只有亮度的一半。即例如，每 4 个亮度点对应 1 个 Cb 和 1 个 Cr 。每个像素点需要 12位数据。