一种全景视频降噪与增强方法技术

本发明专利技术公开了一种全景视频降噪和增强方法。全景视频降噪方法利用当前图像和参考图像，把当前图像分为运动区域和非运动区域，对非运动区域采用帧间递归加权的方法进行降噪，对运动区域采用中值滤波方法进行降噪。全景视频增强方法采用了一种自适应光照补偿的增强方法，引入了全局光照和局部光照参数，可以对低光照，普通光照和高光照图像区域进行自适应的光照补偿，自动调整增强后的图像亮度对比度,并且确保不会引入更大的噪声。两种方法相互结合，可以较好地提高全景视频质量。

A noise reduction and enhancement method for panoramic video

【技术实现步骤摘要】
一种全景视频降噪与增强方法
本专利技术涉及视频处理领域，具体涉及一种全景视频降噪与增强方法。
技术介绍
随着技术的发展，全景视频技术越来越在视频监控，视频会议，虚拟现实等领域得到广泛地应用。全景视频在获取的过程中，受到环境的影响要远大于普通视频。因为全景相机的视角是全方位的，所以全景相机所要面临的光照动态范围要远大于普通相机，当环境中存在强光源的情况下，全景相机因为要压缩更大的光照动态范围，会导致图像中部分区域过暗。当环境光照不足的情况下，会导致视频本身曝光不足，并且引入大量的噪声。因此全景视频的降噪与增强的需求，要远大于普通视频。为了提高全景视频的质量，可以采用视频降噪和视频增强算法对全景视频进行处理。视频的噪声通常会建模成均值为0的高斯噪声，这种噪声同一像素位置帧间互相独立，帧内不同像素也互相独立。因此可以采用时域和空域降噪方法进行视频降噪。时域降噪利用图像帧间噪声不相关的特点进行降噪，可以采用多帧加权或者递归加权的方法进行多帧降噪，虽然能有效的降低帧间噪声，但是也会导致运动物体拖尾的现象。空域降噪算法利用图像相邻像素的相关性而噪声不相关的特点进行噪声消除，多采用例如高斯滤波，局部平均的低通滤波方法，虽然能有效降低噪声的影响，但是图像的边缘和细节也被模糊。对于视频增强方法，传统的直方图均衡算法可以有效地提高图像的对比度的同时也提高噪声的幅度水平，Retinex算法是一种比较优秀的图像增强算法，但是会对图像中亮度变化剧烈的区域引入光晕，并且引入色彩失真现象。
技术实现思路
本专利技术公开了一种全景视频降噪方法和全景视频增强方法。全景视频降噪方法利用参考图像，求取图像中的运动区域，对于非运动区域采用多帧递归加权方法进行降噪，对于运动区域采用帧内中值滤波的方法进行降噪，这样既有效地去除噪声，又提高了运算速度，并且避免了运动区域拖尾的现象。全景视频增强方法采用了一种自适应光照补偿的增强方法，引入了全局光照和局部光照参数，可以对低光照，普通光照和高光照图像和图像区域进行自适应的光照补偿，自动调整增强后的图像亮度对比度，并且确保不会引入更大的噪声。本文提出的视频降噪方法和视频增强方法互相结合，可以极大提高全景视频的质量。一种全景视频降噪与增强方法，其特征在于：包括以下步骤：(1)利用参考图像，估计当前图像相对于参考图像的全局运动失量；(2)利用全局运动失量和参考图像，把当前图像分为运动区域和非运动区域；(3)对视频中非运动区域进行递归加权降噪，对视频中的运动区域采用中值滤波器进行降噪，并保存降噪后的图像作为下一帧的参考图像；(4)对降噪后的视频图像利用自适应曝光补偿的图像增强方法进行增强。上述步骤1中利用当前图像和参考图像的Y通道计算全局SAD，求取当前图像的运动失量：mv＝argmin(Σ|Y(x+u，y+v)-Y′(x，y)|)(1)其中，mv为二维运动失量，Y(x，y)为当前图像的Y通道图像，Y’(x，y)为参考图像Y通道图像。上述步骤2中估计当前图像的运动区域的方法：(1)如果|mv.u|+|mv.v|≤Thmm(2)其中Thmv为全局运动失量阈值，如果图像尺寸小于1280×640时，Thmv的取值范围为15～25，如果尺寸更大，为1920×960时，Thmv可以取20～40。对于当前图像和参考图像交叠区域内的区域，按照尺寸为S，在窗口(i，j)，计算Y通道当前图像与参考图像的差值的绝对值：如果Diffij＞Th，则该窗口中所有的像素为运动区域，运动区域标记MFlag(i，j)＝1，如果Diffij≤Th，则该区域为非运动区域，运动区域标记MFlag(i，j)＝0。其中窗口的尺寸取值根据图像的大小而定，例如图像尺寸小于等于1280×640，S取值为3～9，如果图像尺寸大于等于1920×960时，S取值为5～15。阈值Th的取值范围为9～15。(2)对于当前图像与参考图像交叠区域以外的区域的所有窗口(i，j)，则标记为运动区域，运动区域标记MFlag(i，j)＝1。(3)去除不合理的运动区域。计算每个运动区域联通域的包含窗口数目，如果某个运动区域的窗口数目小于阈值Ths，则认为该运动区域的属性认定不可靠，把位于该联通域内所有的窗口标记为MFlag(i，j)＝0，Ths一般取值为3。(4)如果|mv.u|+|mv.v|＞Thmv(4)表明当前图像相对于参考图像运动幅度过大，此时当前图像所有窗口(i，j)运动区域标记MFlag(i，j)＝1。上述步骤3中对于窗口标记MFlag(i，j)＝0的窗口中的图像进行递归加权降噪的方法为：YDenoise(x，y)＝γY(x+mv.u，y+mv.v)+(1-γ)Y(x，y)(5)在这里γ取值区间为0.1～0.3，窗口(i，j)中图像的UV通道也按照上式同样的方法进行滤波。对于窗口标记MFlag(i，j)＝1的窗口中的图像进行中值滤波的方法为：其中窗口S′的大小为3或者5。窗口(i，j)中图像的UV通道也按照上式进行降噪处理。保存降噪后的图像作为下一帧图像的参考图像。述步骤4中，对降噪后的视频图像利用自适应曝光补偿的图像增强方法进行增强，其步骤如下：(1)计算降噪后Y通道图像的整体平均值μ；(2)计算降噪后Y通道图像的局部平均值μ(x，y)，计算公式如下：计算局部平均值得窗口尺寸S1为4～16，视图像尺寸大小而定，例如图像尺寸小于1280×640，可以采用4～8的窗口尺寸计算局部平均值，如果窗口尺寸大于1280×640，可以采用6～12的窗口尺寸，如果窗口大于等于1920×960，可以采用8～16的窗口尺寸。(3)利用局部均值和整体均值对输入图像进行曝光补偿，提升图像的整体亮度，补偿方法为：A(x，y)＝α(μ)(ln(F(μ(x，y)))-ln(μ(x，y)))(8)其中α()与图像的整体亮度有关，其函数为：其中w取值范围为0.2～0.7，建议取值为0.3；Thhigh为高亮度图像阈值，在方法中取值为180。函数Fi(k)由如下公式计算：在这里Fmin取值为130～160之间，建议值为150。(4)求取Y通道在对数域增强图像：ln(Yout(x，y))＝ln(YDenoise(x，y))+A(x，y)(11)那么Y通道的输出图像为：(5)为每个像素点计算UV通道的增强比例：对于输出图像每个像素点的UV通道，按照如下公式计算：Uout(x，y)＝max(0，min(255，(UDenoise(x，y)-128)Ratiouv+128)(14)Vout(x，y)＝max(0，min(255，(vDenoise(x，y)-128)Ratiouv+128)(15)附图说明图1为本专利技术整体流程图。本文档来自技高网...

【技术保护点】
1.一种全景视频降噪与增强方法，其特征在于：包括以下步骤：/n(1)利用参考图像，估计当前图像的相对于参考图像的全局运动失量；/n(2)利用全局运动失量和参考图像，把当前图像分为运动区域和非运动区域；/n(3)对视频中非运动区域进行递归加权降噪，对视频中的运动区域采用中值滤波进行降噪，并保存降噪后的图像作为下一帧图像的参考图像。/n(4)对降噪后的图像利用自适应曝光补偿的图像增强方法进行增强。/n

【技术特征摘要】
1.一种全景视频降噪与增强方法，其特征在于：包括以下步骤：
(1)利用参考图像，估计当前图像的相对于参考图像的全局运动失量；
(2)利用全局运动失量和参考图像，把当前图像分为运动区域和非运动区域；
(3)对视频中非运动区域进行递归加权降噪，对视频中的运动区域采用中值滤波进行降噪，并保存降噪后的图像作为下一帧图像的参考图像。
(4)对降噪后的图像利用自适应曝光补偿的图像增强方法进行增强。


2.根据权利要求1所述一种全景视频降噪与增强方法，其特征在于：所述步骤1中可以利用当前图像和参考图像的Y通道计算全局SAD，求取当前图像的运动失量：
mv＝argmin(∑|Y(x+u，y+v)-Y′(x，y)|)(1)
其中mv为二维运动失量，Y(x，y)为当前图像的Y通道图像，Y’(x，y)为参考图像Y通道图像。


3.根据权利要求1所述一种全景视频降噪与增强方法，其特征在于：所述步骤2中估计当前图像的运动区域与非运动区域的方法：
(1)如果
|mv.u|+|mv.v|≤Thmv(2)
其中Thmv为全局运动失量阈值，如果图像尺寸小于1280×640时，Thmv的取值范围为15～25，如果尺寸更大，为1920×960时，Thmv可以取20～40。对于当前图像和参考图像交叠区域内的区域，按照尺寸为S，在窗口(i，j)，计算Y通道当前图像与参考图像的差值的绝对值：



如果Diffij＞Th，则该窗口中所有的像素为运动区域，运动区域标记MFlag(i，j)＝1，如果Diffij≤Th，则该区域为非运动区域，运动区域标记MFlag(i，j)＝0。其中窗口的尺寸S取值要根据图像的大小而定，例如图像尺寸小于等于1280×640，S取值为3～9，如果图像尺寸大于等于1920×960时，S取值为5～15。阈值Th的取值范围为9～15。
(2)对于位于当前图像与参考图像交叠区域以外的区域的所有窗口(i，j)，则标记为运动区域，运动区域标记MFlag(i，j)＝1。
(3)去除不合理的运动区域。计算每个运动区域联通域包含窗口数目，如果某个运动区域的所包含窗口数目小于Ths，认为该运动区域的属性认定不可靠，则把位于该联通域内所有的窗口标记为MFlag(i，j)＝0，Ths一般取值为3。
(4)如果
|mv.u|+|mv.v|＞Thmv(4)
表明当前图像相对于参考图像运动幅度过大，此时当前图像所有窗口运动区域标记MFlag(i，j)＝1。


4.根据权利要求1所述一种全景视频降噪与...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：王成波，
类型：发明
国别省市：上海;31