一种深度图像缺失像素的填充方法及装置制造方法及图纸

本申请提供的一种深度图像缺失像素的填充方法及装置，根据深度图像的数据有效性确定待填充像素区域、带状区域、有效像素区域，其中，所述待填充像素区域包括缺失像素部分和/或噪声导致像素无效部分；获取所述带状区域内有效像素到边界距离的映射值，构成优先队列；当所述优先队列中像素个数大于零时，获取所述优先队列的像素，将所述像素添加到有效像素区域；获取所述像素的四邻域像素,划分四邻域像素所处区域，当所述优先队列中像素个数等于零时，得到填充完整的深度图像，实现深度图像的快速有效的填充，在缺失像素进行填充的同时，将需要滤波区域设定为无效像素区域，实现滤波区域中无效像素的填充。

【技术实现步骤摘要】
一种深度图像缺失像素的填充方法及装置
本申请涉及视觉图像领域，尤其涉及一种深度图像缺失像素的填充方法及装置。
技术介绍
在视觉图像领域，深度图像可以反映所拍摄物体的深度信息，通过对获取的深度图像进行处理，可以实现物体的高度测量，体积测量以及相关的检测操作等。目前，由于激光光源或相机的视角局限，激光无法扫描到物体的部分区域，或相机无法观察到激光的部分光条信息，因此图像中存在一部分像素的深度值无法计算，最终导致深度图像中存在缺失像素，且由于采集设备以及采集环境等影响，采集到的深度图像中，不可避免地会引入噪声数据，影响后续算法的处理。为了能够方便后续深度图像的测量或检测功能，一般需要对深度图像中的缺失像素进行填充，目前现有的深度图像的缺失像素填充方法主要包括：全局填充方法，即利用深度图像的全局特征深度值对缺失像素进行填充；线性填充方法，即利用缺失像素左右邻域的有效像素进行线性插值，或者利用缺失像素的上下邻域像素进行线性插值，或者利用缺失像素上下邻域及左右邻域的有效像素进行线性插值。线性填充方法仅利用了左右邻域和上下邻域中有效像素的深度信息，全局填充方法则利用全局特征深度值，并未充分的利用缺失像素的其他邻域范围内的有效像素信息，没有更好的利用缺失像素邻域范围内有效像素的深度信息对缺失像素进行填充，同时，较大噪声的数据无法通过常规的滤波算法，如：高斯滤波，均值滤波，中值滤波等进行滤除时，影响有效像素信息的准确性。
技术实现思路
本申请提供了一种深度图像缺失像素的填充方法及装置，以解决填充方法中未充分利用缺失像素邻域范围内有效像素的深度信息的技术问题。为了达到上述目的，本申请实施例采用以下技术方案：第一方面，提供一种深度图像缺失像素的填充方法，所述填充方法包括：根据深度图像的数据有效性确定待填充像素区域、带状区域、有效像素区域，其中，所述待填充像素区域包括缺失像素部分和/或噪声导致像素无效部分；对所述待填充像素区域进行膨胀处理后与所述待填充像素区域作差，得到所述带状区域；所述深度图像有效像素部分与所述带状区域作差，得到有效像素区域；获取所述带状区域内有效像素到边界距离的映射值，构成优先队列；当所述优先队列中像素个数大于零时，获取所述优先队列的像素，将所述像素添加到有效像素区域；获取所述像素的四邻域像素,当所述四邻域像素中像素在所述待填充像素区域时，计算对应像素的深度值，填充所述深度值至深度图像数据对应的位置处；将所述对应像素添加到带状区域；计算所述对应像素到边界距离的映射值，将所述对应像素加入所述优先队列；当所述优先队列中像素个数等于零时，得到填充完整的深度图像。结合第一方面，在第一种可能的实现方式中，所述确定深度图像中待填充像素区域前还包括：通过滤波强度对深度图像进行平滑滤波处理。结合第一方面，在第二种可能的实现方式中，所述获取所述像素的四邻域像素还包括：当所述四邻域像素中像素在所述带状区域时，计算对应像素到边界距离的映射值，将所述四邻域像素加入所述优先队列。结合第一方面，在第三种可能的实现方式中，所述像素的深度值为式中，u(p)代表待填充像素p的深度值，Nr(p)代表以像素p为中心，以预设半径r为邻域半径内所有有效像素，ω(p,q)代表有效像素q对待填充像素p的权重值，u(q)代表有效像素q的深度值，▽u(q)(p-q)代表有效像素q的梯度在有效像素到无效像素矢量上的投影值。结合第一方面第三种可能的实现方式，在第四种可能的实现方式中，所述权重值为方向分量，距离分量和水平集分量乘积；方向分量为有效像素到待填充像素的单位矢量与待填充像素的法向量的内积；距离分量为有效像素到待填充像素距离平方的倒数；式中，ω(p,q)代表有效像素q对待填充像素p的权重值，dir(p,q)代表方向分量，dst(p,q)代表距离分量，lev(p,q)代表水平集分量，q代表有效像素，p代表待填充像素，N(p)代表待填充像素p的法向量，T(p)代表待填充像素p像素到边界距离的映射值，T(q)代表有效像素q像素到边界距离的映射值，其中，d0取默认值1，T0取默认值1。结合第一方面，在第五种可能的实现方式中，所述深度图像数据为深度图像的深度数据。本申请提供的一种深度图像缺失像素的填充方法，根据深度图像的数据有效性确定待填充像素区域、带状区域、有效像素区域，其中，所述待填充像素区域包括缺失像素部分和/或噪声导致像素无效部分；对所述待填充像素区域进行膨胀处理后与所述待填充像素区域作差，得到所述带状区域；所述深度图像有效像素部分与所述带状区域作差，得到有效像素区域；获取所述带状区域内有效像素到边界距离的映射值，构成优先队列；当所述优先队列中像素个数大于零时，获取所述优先队列的像素，将所述像素添加到有效像素区域；获取所述像素的四邻域像素,当所述四邻域像素中像素在所述待填充像素区域时，计算对应像素的深度值，填充所述深度值至深度图像数据对应的位置处；将所述对应像素添加到带状区域；计算所述对应像素到边界距离的映射值，将所述对应像素加入所述优先队列；当所述优先队列中像素个数等于零时，得到填充完整的深度图像。第二方面，提供一种深度图像缺失像素的填充装置，所述填充装置包括：深度图像划分单元，用于根据深度图像的数据有效性确定待填充像素区域、带状区域、有效像素区域；优先队列单元，用于存储优先队列，所述优先队列由所述带状区域内有效像素到边界距离的映射值构成；队列单元，用于判断并分析所述优先队列中像素；四邻域像素单元，用于获取并判断所述优先队列中像素的四邻域像素；深度图像输出单元，用于输出填充完整的深度图像；其中，所述待填充像素区域包括缺失像素部分和/或噪声导致像素无效部分；对所述待填充像素区域进行膨胀处理后与所述待填充像素区域作差，得到所述带状区域；所述深度图像有效像素部分与所述带状区域作差，得到有效像素区域。结合第二方面，在第一种可能的实现方式中，所述队列单元还包括：队列判断子单元，用于判断所述优先队列中像素的个数；队列分析子单元，用于将所述优先队列像素添加到有效像素区域，获取所述像素的四邻域像素。结合第二方面，在第二种可能的实现方式中，所述四邻域像素获取单元还包括：四邻域像素判断子单元，用于判断四邻域像素的位置；四邻域像素处理子单元，用于判断处理每个所述四邻域像素，当所述四邻域像素中像素在所述待填充像素区域时，计算对应像素的深度值，填充所述深度值至所述深度图像对应的位置处，将所述对应像素添加到带状区域，计算所述对应像素到边界距离的映射值，将所述对应像素加入所述优先队列；当所述四邻域像素中像素在所述带状区域时，计算对应像素到边界距离的映射值，将所述对应像素加入所述优先队列。结合第二方面，在第三种可能的实现方式中，所述填充装置还包括：数据处理单元，用于计算深度图像中像素的深度值。...

【技术保护点】
1.一种深度图像缺失像素的填充方法，其特征在于，所述填充方法包括：/n根据深度图像的数据有效性确定待填充像素区域、带状区域、有效像素区域，其中，所述待填充像素区域包括缺失像素部分和/或噪声导致像素无效部分；对所述待填充像素区域进行膨胀处理后与所述待填充像素区域作差，得到所述带状区域；所述深度图像有效像素部分与所述带状区域作差，得到有效像素区域；/n获取所述带状区域内有效像素到边界距离的映射值，构成优先队列；/n当所述优先队列中像素个数大于零时，获取所述优先队列的像素，将所述像素添加到有效像素区域；/n获取所述像素的四邻域像素,当所述四邻域像素中像素在所述待填充像素区域时，计算对应像素的深度值，填充所述深度值至深度图像数据对应的位置处；/n将所述对应像素添加到带状区域；/n计算所述对应像素到边界距离的映射值，将所述对应像素加入所述优先队列；/n当所述优先队列中像素个数等于零时，得到填充完整的深度图像。/n

【技术特征摘要】
1.一种深度图像缺失像素的填充方法，其特征在于，所述填充方法包括：
根据深度图像的数据有效性确定待填充像素区域、带状区域、有效像素区域，其中，所述待填充像素区域包括缺失像素部分和/或噪声导致像素无效部分；对所述待填充像素区域进行膨胀处理后与所述待填充像素区域作差，得到所述带状区域；所述深度图像有效像素部分与所述带状区域作差，得到有效像素区域；
获取所述带状区域内有效像素到边界距离的映射值，构成优先队列；
当所述优先队列中像素个数大于零时，获取所述优先队列的像素，将所述像素添加到有效像素区域；
获取所述像素的四邻域像素,当所述四邻域像素中像素在所述待填充像素区域时，计算对应像素的深度值，填充所述深度值至深度图像数据对应的位置处；
将所述对应像素添加到带状区域；
计算所述对应像素到边界距离的映射值，将所述对应像素加入所述优先队列；
当所述优先队列中像素个数等于零时，得到填充完整的深度图像。


2.根据权利要求1所述的一种深度图像缺失像素的填充方法，其特征在于，所述确定深度图像中待填充像素区域前还包括：
通过滤波强度对深度图像进行平滑滤波处理。


3.根据权利要求1或2所述的一种深度图像缺失像素的填充方法，其特征在于，所述获取所述像素的四邻域像素还包括：
当所述四邻域像素中像素在所述带状区域时，计算对应像素到边界距离的映射值，将所述四邻域像素加入所述优先队列。


4.根据权利要求1或2所述的一种深度图像缺失像素的填充方法，其特征在于，所述像素的深度值为



式中，u(p)代表待填充像素p的深度值，Nr(p)代表以像素p为中心，以预设半径r为邻域半径内所有有效像素，ω(p,q)代表有效像素q对待填充像素p的权重值，u(q)代表有效像素q的深度值，代表有效像素q的梯度在有效像素到无效像素矢量上的投影值。


5.根据权利要求4所述的一种深度图像缺失像素的填充方法，其特征在于，所述权重值为方向分量，距离分量和水平集分量乘积；
方向分量为有效像素到待填充像素的单位矢量与待填充像素的法向量的内积；
距离分量为有效像素到待填充像素距离平方的倒数；



式中，ω(p,q)代表有效像素q对待填充像素p的权重值，dir(p,q)代表方向分量，dst(p...

【专利技术属性】
技术研发人员：柯俊山，
申请(专利权)人：北京凌云光技术集团有限责任公司，
类型：发明
国别省市：北京;11