图像降噪方法以及图像降噪装置制造方法及图纸

本发明专利技术公开一种图像降噪方法以及装置，所述图像降噪方法是虚拟视点合成中深度图像的降噪方法，包括：深度图像获取步骤，利用深度图像采集装置对场景的深度图像进行获取；深度图像预处理步骤，对深度图像中出现的空洞区域进行填充；深度图像滤波步骤，将所述深度图像采集装置所采集的深度图像中的无效值进行滤波，得到相对平滑的深度数据；以及重构步骤，通过对虚拟图像的深度图像进行重构，从而实现虚拟视点合成效果。

【技术实现步骤摘要】

本专利技术涉及图像处理
，尤其涉及在自由视点电视中应用的、在基于有限视点合成的任意视角图像中对所获取的深度图像进行降噪处理，从而便于虚拟视点的绘制的技术。
技术介绍
随着互联网技术的飞速提升，网络已经成为人们生活中不可缺少的一部分，线上交流逐渐成为了人们主要的通讯手段。如今，在电子通讯行业的迅速发展，数字图像技术对于视频内容的生成、传播与表达是一个很有力的工具，尤其是立体显示技术可以更加真实的表达场景的深度层次感。自由视点立体电视(FTV：Free-viewpoint TV)是一个很好的例子，其特点在于观察者在电视的不同方位可观看电视图像中的场景不同视角的图像。所以多视点图像(Multi-view image)逐渐成为了人们的关注点。该技术主要应用于在复杂且蕴含重要信息的视频中对于视角的扩展。自由视角电视是此技术中一个很好的例子，该电视可以提供比传统媒体更多的信息，我们可以通过自由视角电视实时动态地看到任意视角的自然场景。图1展示了足球场及不同位置的摄像机，图2表示自由视点电视可根据观众喜好观看不同视角视频。三维立体显示技术是利用了人的立体视觉特性，将左右眼睛所看到相同场景中具有视差的图像信息，经过大脑的合成使人们产生空间感。三维电视是一种3D显示设备，是如今继高清电视技术之后新的发展趋势。在三维电视系统中，使用者能够看到有深度层次的图像，也可以选择观看的方向与角度。三维电视系统中虚拟视点图像合成是其中的关键技术，在场景中安置多个摄像机在不同角度进行拍摄，根据已拍摄的参考图像来绘制场景中新的图像，此过程称为虚拟视点合成。这能够让观众在显示器端看到不同位置的图像和视频，进而能够感受到真实场景的空间感，也减少了视频所需的数据量。在该方法中利用相关深度传感器Microsoft的kinect游戏设备对深度图像进行获取。深度图像获取装置摄像机主要分为三部分：RGB彩色摄像头，红外深度传感器和麦克风，该设备的测距方法称之为激光散斑图测距。所谓的激光散斑图测距是一种结构光原理的测距技术，结构光测距也是三角测量原理的一种，该方法与传统的双目测距方法不同，结构光测距技术不是利用场景的颜色和纹理对距离进行测量，而是利用主动发射光源例如平行的线条、散斑等，将其光源投影在物体表面根据反射的图案通过内部计算得出物体表面的空间结构，再利用相似三角形原理得出物体的深度参数。深度图像获取装置所采用的方法在结构光技术有的改进，利用红外光通过光栅投射到物体表面上会呈现衍射斑点，这些斑点具有随机性，他们在空间中不同位置会呈现出各种不同形状的图案，这些图案被称之为激光散斑。在该系统中，空间通常被分为许多层，每个层都会有相应的参考面，设备会计算出参考平面上散斑图，非参考平面上的位置会根据与所有参考平面进行比对进而计算获取，这些点与参考平面的偏差对应其散斑图案在深度图像获取装置的基线方向上的偏移。利用红外图像各个点对应的参考平面进行互相关计算，可以得到该场景各个点的深度数据和空间结构。但是由于深度图像获取装置的自身原理会导致其深度图像并不完善，在玻璃或非漫反射位置会出现深度图像无效位置，利用深度图像获取装置获取深度图像如图5所示。为了解决虚拟视点合成中深度图像的优化问题，本专利技术对获取到的深度图像进行滤波处理，本方法主要采用双边滤波对深度图像进行处理，其特点在于深度图处理后可以保持原边界效果而对图像内部进行平滑。
技术实现思路
本专利技术所涉及的一种图像降噪方法，是虚拟视点合成中深度图像的降噪方法，其中，包括：深度图像获取步骤，利用深度图像采集装置对场景的深度图像 进行获取；深度图像预处理步骤，对深度图像中出现的空洞区域进行填充；深度图像滤波步骤，将深度图像采集装置所采集的深度图像中的无效值进行滤波，得到相对平滑的深度数据；以及重构步骤，通过对虚拟图像的深度图像进行重构，从而实现虚拟视点合成效果。优选为，所述深度图像滤波步骤中，利用由下式所表达的双边滤波器对深度图像进行滤波，h(x)＝k-1∫∫Df(ξ)c(ξ-x)s(f(ξ)-f(x))dξ (1)式中，k是标准化的常数，D代表频域，亲近函数c和相似函数s都是高斯函数。优选为，双边滤波器的表达式中的参数c是一个完全对称的函数，由下式所表示： c ( ξ - x ) = exp ( - 1 2 ( | ξ - x | σ d ) 2 ) - - - ( 2 ) ]]>这里，σd是欧氏距离的方差，函数s与c类似其形式为等式(3)， c ( ξ - x ) = exp ( - 1 2 ( | f ( ξ ) - f ( x ) | σ r ) 2 ) - - - ( 3 ) ]]>式中，σr代表色域的方差。本专利技术所涉及的图像降噪装置是虚拟视点合成中深度图像的降噪装置包括：深度图像获取模块，利用深度图像采集装置对场景的深度图像进行获取；深度图像预处理模块，对深度图像中出现的空洞区域进行填充；深度图像滤波模块，将深度图像采集装置所采集的深度图像中的无效值进行滤波，得到相对平滑的深度数据；以及重构模块，通过对虚拟图像的深度图像进行重构，从而实现虚拟视点合成效果。附图说明图1是本专利技术所涉及的图像降噪方法的流程图。图2是本专利技术所涉及的图像降噪装本文档来自技高网...

【技术保护点】
一种图像降噪方法，是虚拟视点合成中深度图像的降噪方法，其特征在于，包括：深度图像获取步骤，利用深度图像采集装置对场景的深度图像进行获取；深度图像预处理步骤，对深度图像中出现的空洞区域进行填充；深度图像滤波步骤，将深度图像采集装置所采集的深度图像中的无效值进行滤波，得到相对平滑的深度数据；以及重构步骤，通过对虚拟图像的深度图像进行重构，从而实现虚拟视点合成效果。

【技术特征摘要】
1.一种图像降噪方法，是虚拟视点合成中深度图像的降噪方法，其特征在于，包括：深度图像获取步骤，利用深度图像采集装置对场景的深度图像进行获取；深度图像预处理步骤，对深度图像中出现的空洞区域进行填充；深度图像滤波步骤，将深度图像采集装置所采集的深度图像中的无效值进行滤波，得到相对平滑的深度数据；以及重构步骤，通过对虚拟图像的深度图像进行重构，从而实现虚拟视点合成效果。2.根据权利要求1所述的图像降噪方法，其特征在于，所述深度图像滤波步骤中，利用由下式所表达的双边滤波器对深度图像进行滤波，h(x)＝k-1∫∫Df(ξ)c(ξ-x)s(f(ξ)-f(x))dξ (1)式中，k是标准化的常数，D代表频域，亲近函数c和相似函数s都是高斯函数。3.根据权利要求2所述的图像降噪方法，其特征在于，双边滤波器的表达式中的参数c是一个完全对称的函数，由下式所表示： c ( ξ - x ) = exp ( - 1 2 ( | ξ - x | σ d ) 2 ) - - - ( 2 ) ]]>这里，σd是欧氏距离的方差，函数s与c类似其形式为等式(3)， c ( ξ - x ) = exp ( - 1 2 ( | f ( ξ ) - f ( x ) | σ r ) 2 ) - - - ( 3 ) ]]>式中，σr代表色域的方差。...

【专利技术属性】
技术研发人员：杨长水，马璁，贾惠柱，解晓东，陈瑞，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11