一种深度图像的缺失像素的填充方法及系统技术方案

本申请公开了一种深度图像的缺失像素的填充方法，包括如下步骤：根据当前深度图像的数据有效性，确定需要填充的缺失像素；根据预定策略设置填充参数；根据预定策略构造结构张量；通过相应的公式进行迭代求解，进行缺失像素的填充。此外，对深度图像的缺失像素进行填充的同时，可以将深度图像噪声较大的有效像素区域也指定为待填充区域，从而在实现缺失像素填充的同时，实现深度图像有效像素区域的平滑去噪效果。本申请技术方案的有益效果：1.利用填充算法对缺失像素进行填充，可以达到期望的填充效果；2.通过构造不同的结构张量D可以实现在填充像素与周围区域平滑的基础上，同时保持良好的边缘信息。

【技术实现步骤摘要】
一种深度图像的缺失像素的填充方法及系统
本申请涉及深度图像
，特别涉及一种深度图像的缺失像素的填充方法及系统。
技术介绍
在视觉图像领域，深度图像可以反映所拍摄物体的深度信息。通过对获取的深度图像进行处理，可以实现物体的高度测量，体积测量以及相关的检测操作等。目前，由于激光光源或相机的视角局限，激光无法扫描到物体的部分区域，或相机无法观察到激光的部分光条信息，因此图像中存在一部分像素的深度值无法计算，最终导致深度图像中存在缺失像素，影响后续算法的处理。
技术实现思路
本申请要解决的技术问题为提供一种深度图像的缺失像素的填充方法，该填充方法能够基于图像修复技术对深度图像的缺失像素进行填充，并通过设置结构张量和填充参数，达到期望的填充效果。此外，本申请另一个要解决的技术问题为提供一种深度图像的缺失像素的填充系统。为解决上述技术问题，本申请提供一种深度图像的缺失像素的填充方法，包括如下步骤：根据当前深度图像的数据有效性，确定需要填充的缺失像素；根据预定策略设置填充参数；根据预定策略构造结构张量；通过如下公式进行迭代求解，进行缺失像素的填充：其中，u0(x,y)为待填充深度图像的深度数据初始值，D为需要构造的结构张量，▽u为深度图像的梯度，·代表点乘操作，div()代表散度操作，代表深度图像u(x,y,t)对时间t的偏导数。当时间t→∞时，此时的u(x,y,t)为缺失像素已填充好的深度图像。可选的，所述根据当前深度图像的数据有效性，确定需要填充的缺失像素的步骤，包括：深度图像包括深度数据和数据有效性，所述深度数据为当前像素所代表的深度信息，所述数据有效性代表当前像素是否为缺失像素，当数据有效性为FALSE时，代表当前像素为缺失像素。可选的，所述根据预定策略设置填充参数的步骤包括：所述填充参数包括迭代次数，所述迭代次数是指为了获取填充效果良好的深度图像所需要进行迭代计算的次数，并所述迭代次数的数量多少与缺失像素的填充效果成正比，与迭代耗时成反比；所述迭代次数根据所述填充效果和耗时进行折中获得。可选的，所述根据预定策略设置填充参数的步骤还包括：所述填充参数还包括迭代步长、对比度阈值及滤波系数三者中的至少一个；所述迭代步长为迭代更新计算时的步长大小；所述对比度阈值用于区分深度图像中的平坦区域和边缘区域，当前区域的像素的深度值与邻域的差值小于所述对比度阈值时，当前区域为所述平坦区域；反之，为所述边缘区域；所述滤波系数为在对深度图像缺失像素进行填充前，为了减少图像中噪声影响而设置的参数。可选的，所述根据预定策略构造结构张量的步骤包括：将结构张量D构造为单位矩阵I；所述单位矩阵I的两个特征值相等，所述特征值代表图像深度信息的扩散强度，使得在填充过程中缺失像素的周围有效像素在不同的扩散方向上将有效的深度信息扩散到缺失像素中的强度相等。可选的，所将结构张量D构造为单位矩阵I后，通过如下公式进行迭代求解，进行缺失像素的深度值的填充：。可选的，所述通过如下公式进行迭代求解，进行缺失像素的填充的步骤包括如下步骤：S101：判断当前迭代次数是否达到预先设定的迭代次数，如果是，则进行结果图像的输出；如果否，进行下一步的迭代计算。可选的，所述如果否，进行下一步的迭代计算，的步骤包括如下步骤：S102:判断深度图像的像素是否遍历结束；如果是，则回复执行所述步骤S101；如果否，则执行如下步骤：S103：获取下一个待处理的像素，并判断该像素是否为缺失像素。可选的，所在步骤S103中，如果是，则执行如下步骤：S104：按照如下公式，进行深度值更新：如果否，则回复执行步骤S102。此外，为解决上述技术问题，本申请还提供一种深度图像的缺失像素的填充系统，所述填充系统包括：缺失像素确定单元，用于根据当前深度图像的数据有效性，确定需要填充的缺失像素；填充参数设置单元，用于根据预定策略设置填充参数；结构张量构造单元，用于根据预定策略构造结构张量；计算单元，用于通过如下公式进行迭代求解，进行缺失像素的填充：其中，u0(x,y)为待填充深度图像的深度数据初始值，D为需要构造的结构张量，▽u为深度图像的梯度，·代表点乘操作，div()代表散度操作，代表深度图像u(x,y,t)对时间t的偏导数。当时间t→∞时，此时的u(x,y,t)为缺失像素已填充好的深度图像。在一种实施例中，本申请所提供的一种深度图像的缺失像素的填充方法，包括如下步骤：根据当前深度图像的数据有效性，确定需要填充的缺失像素；根据预定策略设置填充参数；根据预定策略构造结构张量；通过如下公式进行迭代求解，进行缺失像素的填充：其中，u0(x,y)为待填充深度图像的深度数据初始值，D为需要构造的结构张量，▽u为深度图像的梯度，·代表点乘操作，div()代表散度操作，代表深度图像u(x,y,t)对时间t的偏导数。当时间t→∞时，此时的u(x,y,t)为缺失像素已填充好的深度图像。该填充方法能够基于图像修复技术对深度图像的缺失像素进行填充，并且能够得到期望的填充效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请一种实施例中一种深度图像的缺失像素的填充方法的逻辑流程图；图2为本申请中深度图像的深度数据及数据有效性的示意图；图3为图1实施例中迭代计算时的具体流程图；图4为图3中迭代计算的示例图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。在本专利技术的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型.下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请本文档来自技高网...

【技术保护点】
1.一种深度图像的缺失像素的填充方法，其特征在于，包括如下步骤：/n根据当前深度图像的数据有效性，确定需要填充的缺失像素；/n根据预定策略设置填充参数；/n根据预定策略构造结构张量；/n通过如下公式进行迭代求解，进行缺失像素的填充：/n

【技术特征摘要】
1.一种深度图像的缺失像素的填充方法，其特征在于，包括如下步骤：
根据当前深度图像的数据有效性，确定需要填充的缺失像素；
根据预定策略设置填充参数；
根据预定策略构造结构张量；
通过如下公式进行迭代求解，进行缺失像素的填充：



其中，u0(x,y)为待填充深度图像的深度数据初始值，D为需要构造的结构张量，为深度图像的梯度，·代表点乘操作，div()代表散度操作，代表深度图像u(x,y,t)对时间t的偏导数；当时间t→∞时，此时的u(x,y,t)为缺失像素已填充好的深度图像。


2.如权利要求1所述的一种深度图像的缺失像素的填充方法，其特征在于，所述根据当前深度图像的数据有效性，确定需要填充的缺失像素的步骤，包括：
深度图像包括深度数据和数据有效性，所述深度数据为当前像素所代表的深度信息，所述数据有效性代表当前像素是否为缺失像素，当数据有效性为FALSE时，代表当前像素为缺失像素。


3.如权利要求1所述的一种深度图像的缺失像素的填充方法，其特征在于，所述根据预定策略设置填充参数的步骤包括：
所述填充参数包括迭代次数，所述迭代次数是指为了获取填充效果良好的深度图像所需要进行迭代计算的次数，并所述迭代次数的数量多少与缺失像素的填充效果成正比，与迭代耗时成反比；
所述迭代次数根据所述填充效果和耗时进行折中获得。


4.如权利要求3所述的一种深度图像的缺失像素的填充方法，其特征在于，所述根据预定策略设置填充参数的步骤还包括：
所述填充参数还包括迭代步长、对比度阈值及滤波系数三者中的至少一个；
所述迭代步长为迭代更新计算时的步长大小；
所述对比度阈值用于区分深度图像中的平坦区域和边缘区域，当前区域的像素的深度值与邻域的差值小于所述对比度阈值时，当前区域为所述平坦区域；反之，为所述边缘区域；
所述滤波系数为在对深度图像缺失像素进行填充前，为了减少图像中噪声影响而设置的参数。


5.如权利要求3所述的一种深度图像的缺失像素的填充方法，其特征在于，所述根据预定策略构造结构张量的步骤包括：
将结构张量D构造为单位矩阵I；<...

【专利技术属性】
技术研发人员：钟旭阳，姚毅，
申请(专利权)人：北京凌云光技术集团有限责任公司，
类型：发明
国别省市：北京;11