一种深度图像降噪方法及装置制造方法及图纸

本发明专利技术适用于图像处理技术领域，提供了一种深度图像降噪方法及装置，方法包括：获取至少两帧深度图像，确定其中一帧深度图像为当前帧深度图像；将当前帧深度图像与其相邻帧深度图像进行对比，获取相邻两帧深度图像数据的差异，并将差异对应区域记为候选噪点；以候选噪点为中心，获取候选噪点的连通区域，候选噪点及其连通区域形成候选噪声块；对候选噪声块进行过滤，获得真实噪点；对当前帧深度图像中真实噪点的深度数据进行处理，以使得当前帧深度图像去除真实噪点；能有效去除噪点和最多在同一个位置出现两帧的噪点块，可以被运用至多帧或动态环境下的深度图像降噪中，具有广泛的应用前景。

A Noise Reduction Method and Device for Depth Image

The present invention is applicable to the field of image processing technology, and provides a depth image denoising method and device. The method includes: acquiring at least two depth images, determining that one of them is the current frame depth image, comparing the current frame depth image with the adjacent frame depth image, obtaining the difference of the adjacent two frame depth image data, and recording the difference corresponding region as a waiting time. Selecting noise points; taking candidate noise points as the center, obtaining the connected area of candidate noise points and forming candidate noise blocks; filtering candidate noise blocks to obtain real noise points; processing the depth data of real noise points in the current frame depth image to remove real noise points in the current frame depth image; effectively removing noise points and at most in the same bit. Two-frame noise blocks can be used in depth image denoising in multi-frame or dynamic environments, which has a wide application prospect.

【技术实现步骤摘要】
一种深度图像降噪方法及装置
本专利技术属于图像处理
，尤其涉及一种深度图像降噪方法及装置。
技术介绍
双目结构光会根据两个红外(IR)镜头获取的红外图像进行匹配产生视差，从而生成深度数据。但是由于现实环境比较复杂，在某些场景下会由于一些环境因素(如环境中的干扰光源、特殊材质等)的影响，使得红外图像在某些区域匹配错误，从而产生一些错误数据，在深度值应该为0的情况下出现异常深度值，该区域的深度值即为产生的噪点。不仅双目结构光会产生上述情况，采用飞行时间(TOF)、立体图像等技术采集图像时也会产生类似情况。目前的技术方案通常都是在单帧深度图像进行滤波或者采用降噪算法进行降噪，然而这种方式只能处理一些椒盐噪声，而无法处理噪声块。有些降噪算法甚至会对深度数据进行平滑，修改原始深度数据，从而影响深度质量。
技术实现思路
有鉴于此，本专利技术实施例提供了一种深度图像降噪方法及装置，以解决现有技术中在单帧深度图像中进行降噪时效果不佳的技术问题。本专利技术实施例的第一方面提供了一种深度图像降噪方法，包括：获取至少两帧深度图像，确定其中一帧深度图像为当前帧深度图像；将所述当前帧深度图像与其相邻帧深度图像进行对比，获取相邻两帧深度图像数据的差异，并将所述差异对应区域记为候选噪点；以所述候选噪点为中心，获取所述候选噪点的连通区域，所述候选噪点及其连通区域形成候选噪声块；对所述候选噪声块进行过滤，获得真实噪点；对所述当前帧深度图像中真实噪点的深度数据进行处理，以使得所述当前帧深度图像去除所述真实噪点。本专利技术实施例的第二方面提供了一种深度图像降噪装置，包括：第一模块，用于获取至少两帧深度图像，确定其中一帧深度图像为当前帧深度图像；第二模块，用于将所述当前帧深度图像与其相邻帧深度图像进行对比，获取相邻两帧深度图像数据的差异，并将所述差异对应区域记为候选噪点；第三模块，用于以所述候选噪点为中心，获取所述候选噪点的连通区域，所述候选噪点及其连通区域形成候选噪声块；第四模块，用于对所述候选噪声块进行过滤，获得真实噪点；第五模块，用于对所述当前帧深度图像中真实噪点的深度数据进行处理，以使得所述当前帧深度图像去除所述真实噪点。本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。本专利技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。本专利技术实施例与现有技术相比存在的有益效果是：本实施例通过采集至少两帧深度图像进行数据处理，对比第二帧深度图像与其它深度图像之间的差异，得到深度突变的候选噪点；并通过连通区域获得候选噪声块中；为了进一步提高降噪效果，对候选噪声块进行两次噪声过滤，综合对比多帧深度图像数据差异中出现的候选噪声块，生成真实噪点信息，对第二帧审图图像中真实噪点位置处的深度数据进行处理，同时更新另外深度图像数据，不仅能有效去除噪点，达到能剔除最多在同一个位置出现两帧噪点块的效果，而且还能保留深度图像数据的原样，不会对深度数据进行平滑等操作，使得该技术可以被运用至多帧或动态环境下的深度图像降噪中，具有广泛的应用前景。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1是本专利技术实施例提供的第一种深度图像降噪方法的流程示意图一；图2是本专利技术实施例提供的第一种深度图像降噪方法的流程示意图二；图3是本专利技术实施例提供的第二种深度图像降噪方法的流程示意图一；图4是本专利技术实施例提供的第四种深度图像降噪方法的流程示意图二；图5是本专利技术实施例提供的深度图像降噪方法中候选噪声块的示意图一；图6是本专利技术实施例提供的深度图像降噪方法中候选噪声块的示意图二；图7是本专利技术实施例提供的深度图像降噪方法中候选噪声块的示意图三；图8是本专利技术实施例提供的深度图像降噪方法中降噪前后示意图，其中(a)为降噪前深度图像，(b)为降噪后深度图像；图9是本专利技术实施例提供的深度图像降噪装置的示意图一；图10是本专利技术实施例提供的深度图像降噪装置的示意图二；图11是本专利技术实施例提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。图1示出了本专利技术实施例提供的第一种深度图像降噪方法的实现流程图，该方法可由结构光图像获取装置执行，结构光图像获取装置可配置于移动终端中，可由软件实现，也可以由硬件实现，还可以由软件和硬件共同实现。如图1所示，深度图像降噪方法可包括如下步骤：步骤S11：获取三帧深度图像，确定其中一帧深度图像为当前帧深度图像。在获取深度图像时，通过对得到的图像进行匹配产生视差，根据对应点的视差计算出深度，从而得到深度图像。但是在周围环境复杂的情况下，很容易发生匹配错误的情况，从而产生一些异常值，即噪点。通过大量实验表明，噪点有着如下特性：(1)噪点成块状(大的噪点可能会达到几百个像素)；(2)一般情况下不会超过2帧深度图像，部分块状噪点可能会存在连续2帧深度图像都出现同一噪点的情况；(3)噪点只会无中生有，即某处的深度值本应该是0，但是深度图像中该处值不为0；(4)噪声值具有随机性，深度值不固定，大小随机，出现频率随机，出现位置随机；(5)噪点一般比较孤立存在，出现噪声处周围像素的深度值一般为0。基于噪点的上述特性，本实施例获取三帧深度图像，依次记为第一深度图像、第二深度图像和第三深度图像，并且将第二深度图像记为当前帧深度图像。当任意一帧深度图像中出现噪点时，该噪点一般不会连续出现在三帧深度图像中。深度图像可以通过任何合适的技术所获取，例如飞行时间技术(TOF)、结构光技术以及立体视觉等。步骤S12：将当前帧深度图像与其相邻帧深度图像进行对比，获取相邻两帧深度图像数据的差异，并将差异对应区域记为候选噪点记为候选噪点。在进行对比时，一种方式是：将第一深度图像和第二深度图像中相应像素的深度信息进行对比，并将两者之间的差异部分记为diff1；将第二深度图像和第三深度图像中相应像素的深度信息进行对比，并将两者之间的差异部分记为diff2。差异部分指的是两者之间的深度信息不一致，意味着第一深度图像、第二深度图像或者第三深度图像中相应像素点的深度信息发生了突变，该像素点深度信息的变化有可能是因为深度图像产生噪点而出现的，因此可以将diff1和diff2中包含的像素记为候选噪点。由于一般情况下不会有超过2帧深度图像出现相同的噪点，因此一种情况是只有一帧深度图像出现噪点，另外一种情况是连续两帧深度图像出现噪点，而无论是哪一种情况，diff1或diff2中均会包含相应的噪点信息。本文档来自技高网...

【技术保护点】
1.一种深度图像降噪方法，其特征在于，包括：获取至少两帧深度图像，确定其中一帧深度图像为当前帧深度图像；将所述当前帧深度图像与其相邻帧深度图像进行对比，获取相邻两帧深度图像数据的差异，并将所述差异对应区域记为候选噪点；以所述候选噪点为中心，获取所述候选噪点的连通区域，所述候选噪点及其连通区域形成候选噪声块；对所述候选噪声块进行过滤，获得真实噪点；对所述当前帧深度图像中真实噪点的深度数据进行处理，以使得所述当前帧深度图像去除所述真实噪点。

【技术特征摘要】
1.一种深度图像降噪方法，其特征在于，包括：获取至少两帧深度图像，确定其中一帧深度图像为当前帧深度图像；将所述当前帧深度图像与其相邻帧深度图像进行对比，获取相邻两帧深度图像数据的差异，并将所述差异对应区域记为候选噪点；以所述候选噪点为中心，获取所述候选噪点的连通区域，所述候选噪点及其连通区域形成候选噪声块；对所述候选噪声块进行过滤，获得真实噪点；对所述当前帧深度图像中真实噪点的深度数据进行处理，以使得所述当前帧深度图像去除所述真实噪点。2.如权利要求1所述的深度图像降噪方法，其特征在于，所述连通区域包括所述候选噪点的多个相邻像素。3.如权利要求1所述的深度图像降噪方法，其特征在于，所述对所述候选噪声块进行过滤步骤包括：判断所述候选噪声块中的像素数量是否在第一阈值范围内；若所述候选噪声块中的像素数量在第一阈值范围内，则判断所述候选噪声块中候选噪点的连通区域内有深度值的像素点个数比例是否低于第二阈值；若所述候选噪声块中候选噪点的连通区域内有深度值的像素点个数比例低于所述第二阈值，则确定所述候选噪点为真实噪点。4.如权利要求3所述的深度图像降噪方法，其特征在于，所述判断所述候选噪声块中的像素数量是否在第一阈值范围内步骤后还包括：若所述候选噪声块中的像素数量不在第一阈值范围内，则过滤所述候选噪声块；所述判断所述候选噪声块中候选噪点的连通区域内有深度值的像素点个数比例是否低于第二阈值步骤后还包括：若所述候选噪声块中候选噪点的连通区域内有深度值的像素点个数比例不低于所述第二阈值，则过滤所述候选噪点。5.如权利要求3所述的深度图像降噪方法，其特征在于，所述对所述真实噪点的深度数据进行处理，以使得所述当前帧深度图像去除所述真实噪点步骤包括：获取所述当前帧深度图像中真实噪点的...

【专利技术属性】
技术研发人员：刘敦浩，
申请(专利权)人：深圳奥比中光科技有限公司，
类型：发明
国别省市：广东,44