高精度稠密深度图像的生成方法和装置制造方法及图纸

本申请实施例提供了一种高精度稠密深度图像的生成方法和装置，其中，方法包括：获取第一图像、第二图像和第三图像；根据上述图像，确定视差图；根据待匹配像素点的灰度值、匹配窗口内的像素点的灰度值和预设编码规则，确定匹配窗口内的像素点的预设编码；根据第一图像中的待匹配像素点的灰度值、匹配窗口内的像素点的预设编码和视差图，从第二图像中确定出匹配像素点；进而确定第一深度图像。通过根据预设编码规则获取并利用待匹配像素点邻近的匹配窗口内的像素点预设编码，结合待匹配像素点的灰度值，以视差图为约束，通过匹配从第二图像中确定出匹配像素点，进而确定出深度图像，从而解决了现有方法确定深度图像误差大、精度不高的技术问题。

【技术实现步骤摘要】
高精度稠密深度图像的生成方法和装置
本申请涉及图像处理
，特别涉及一种高精度稠密深度图像的生成方法和装置。
技术介绍
随着计算机视觉技术的发展，携带有深度信息的深度图像的应用越来越广泛。例如，在图像识别与处理、场景理解、增强与虚拟现实、机器人导航等应用领域，都会使用到深度图像这种图像数据。相应的，人们对深度图像的精度、分辨率等要求也越来越高。目前，为了获取得到精度较高的深度图像，大多会将ToF(TimeofFlight)相机等深度相机所采集到的图像数据直接融入并参与双目立体视觉的匹配算法中，以简化由双目相机(包括左摄像头和右摄像头的相机)所采集的图像数据的立体匹配，最终得到精度相对较高的深度图像。但是，由于深度相机抗干扰能力较差，所采集的图像数据往往分辨率、精度相对较低，容易出现误差信息。例如，在某些特殊材料或物体边缘会出现一些不可靠的图像数据。而基于上述方法，具体实施时，会将深度相机所采集的图像数据中存在的一些误差信息也一并引入匹配算法中，并随着匹配过程被传递和扩散，导致最终得到深度图像往往会存在误差，表现较为稀疏，且分辨率不高、准确度也相对较差。即，现有方法往往存在所确定的深度图像误差大、精度不高的技术问题。针对上述问题，目前尚未提出有效的解决方案。
技术实现思路
本申请实施例提供了一种高精度稠密深度图像的生成方法和装置，以解决现有方法中存在的确定深度图像误差大、精度不高的技术问题，达到获取稠密的、具有较高精度和分辨率的深度图像的技术效果。本申请实施例提供了一种高精度稠密深度图像的生成方法，包括：获取第一图像、第二图像和第三图像，其中，所述第一图像为通过左摄像头获取的包含有目标对象的图像数据，所述第二图像为通过右摄像头获取的包含有目标对象的图像数据，所述第三图像为通过深度相机获取的包含有目标对象的图像数据；根据所述第一图像、所述第二图像和所述第三图像确定视差图；根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的灰度值和预设编码规则，确定所述待匹配像素点的匹配窗口内的像素点的预设编码；根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述视差图，从所述第二图像中确定出与所述第一图像中的待匹配像素点对应的匹配像素点；根据第一图像中的待匹配像素点，和所述第二图像中的与所述第一图像中的待匹配像素点对应的匹配像素点，确定第一深度图像。在一个实施方式中，根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的灰度值和预设编码规则，确定所述待匹配像素点的匹配窗口内的像素点的预设编码，包括：将所述待匹配像素点的匹配窗口内的像素点的灰度值分别与所述第一图像中的待匹配像素点的灰度值进行比较；根据比较结果，将所述待匹配像素点的匹配窗口内的灰度值小于或等于所述待匹配像素点的灰度值的像素点的预设编码确定为1；将所述待匹配像素点的匹配窗口内的灰度值大于所述待匹配像素点的灰度值的像素点的预设编码确定为0。在一个实施方式中，根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述视差图，从所述第二图像中确定出与所述第一图像中的待匹配像素点对应的匹配像素点，包括：根据所述待匹配像素点的第一坐标和所述视差图，从所述第二图像中筛选出多个像素点作为测试像素点；确定测试像素点的灰度值，以及测试像素点的匹配窗口内的像素点的预设编码；根据所述待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述测试像素点的灰度值、所述测试像素点的匹配窗口内的像素点的预设编码，计算所述待匹配像素点与所述测试像素点的匹配代价；将匹配代价数值最小的测试像素点确定为与所述第一图像中的待匹配像素点对应的匹配像素点。在一个实施方式中，根据所述待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述测试像素点的灰度值、所述测试像素点的匹配窗口内的像素点的预设编码，计算所述待匹配像素点与所述测试像素点的匹配代价，包括：按照以下公式，计算所述待匹配像素点与所述测试像素点的匹配代价：其中，C表示为待匹配像素点与测试像素点的匹配代价，表示为第一图像中的待匹配像素点的灰度值，表示为第二图像中的测试像素点的灰度值，表示为第一图像中待匹配像素点的匹配窗口内的编号为k的像素点的预设编码，表示为第二图像中测试像素点的匹配窗口内的编号为k的像素点的预设编码，n表示为所述匹配窗口内的像素点的总数。在一个实施方式中，在根据第一图像中的待匹配像素点，和所述第二图像中的与所述第一图像中的待匹配像素点对应的匹配像素点，确定第一深度图像后，所述方法还包括：根据所述视差图，生成修正权值；根据所述修正权值和所述第一深度图像，确定第二深度图像。在一个实施方式中，根据所述修正权值和所述第一深度图像，确定第二深度图像，包括：按照以下公式，计算所述第二深度图像中像素点的数据值：其中，qi表示为第二深度图像中编号为i的像素点的数据值，Wij(I)表示为修正权值，I表示为视差图，pj表示为第一深度图像中对应的预设窗口内编号为j的像素点的数据值。在一个实施方式中，所述修正权值按照以下公式确定：其中，Ii、Ij表示为视差图中对应的预设窗口内相邻的两个像素点的数据值，μk表示为视差图中对应的预设窗口内的像素点的数据值的平均值，σk表示为视差图中对应的预设窗口内的像素点的数据值的方差，ε表示为惩罚值，τ表示为扰动值。在一个实施方式中，在根据第一图像中的待匹配像素点，和所述第二图像中的与所述第一图像中的待匹配像素点对应的匹配像素点，确定第一深度图像后，所述方法还包括：检测所述第一深度图像中是否存在空白区域，其中，所述空白区域为包含有多个数据值为0的像素点的区域；在确定所述第一深度图像中存在空白区域的情况下，获取所述第一深度图像中非空白区域与所述空白区域相连的像素点的数据值；根据所述第一深度图像中非空白区域与所述空白区域相连的像素点的数据值，修改所述空白区域内的像素点的数据值。本申请实施例还提供了一种高精度稠密深度图像的生成装置，包括：获取模块，用于获取第一图像、第二图像和第三图像，其中，所述第一图像为通过左摄像头获取的包含有目标对象的图像数据，所述第二图像为通过右摄像头获取的包含有目标对象的图像数据，所述第三图像为通过深度相机获取的包含有目标对象的图像数据；第一确定模块，用于根据所述第一图像、所述第二图像和所述第三图像确定视差图；第二确定模块，用于根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的灰度值和预设编码规则，确定所述待匹配像素点的匹配窗口内的像素点的预设编码；第三确定模块，用于根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述视差图，从所述第二图像中确定出与所述第一图像中的待匹配像素点对应的匹配像素点；第四确定模块，用于根据第一图像中的待匹配像素点，和所述第二图像中的与所述第一图像中的待匹配像素点对应的匹配像素点，确定第一深度图像。本申请实施例还提供了一种电子设备，包括处理器以及用于存储处理器可执行指令的存储器，所述处理器执行所述指令时实现获取第一图像、第二图像和本文档来自技高网...

【技术保护点】
1.一种高精度稠密深度图像的生成方法，其特征在于，包括：获取第一图像、第二图像和第三图像，其中，所述第一图像为通过左摄像头获取的包含有目标对象的图像数据，所述第二图像为通过右摄像头获取的包含有目标对象的图像数据，所述第三图像为通过深度相机获取的包含有目标对象的图像数据；根据所述第一图像、所述第二图像和所述第三图像确定视差图；根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的灰度值和预设编码规则，确定所述待匹配像素点的匹配窗口内的像素点的预设编码；根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述视差图，从所述第二图像中确定出与所述第一图像中的待匹配像素点对应的匹配像素点；根据第一图像中的待匹配像素点，和所述第二图像中的与所述第一图像中的待匹配像素点对应的匹配像素点，确定第一深度图像。

【技术特征摘要】
1.一种高精度稠密深度图像的生成方法，其特征在于，包括：获取第一图像、第二图像和第三图像，其中，所述第一图像为通过左摄像头获取的包含有目标对象的图像数据，所述第二图像为通过右摄像头获取的包含有目标对象的图像数据，所述第三图像为通过深度相机获取的包含有目标对象的图像数据；根据所述第一图像、所述第二图像和所述第三图像确定视差图；根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的灰度值和预设编码规则，确定所述待匹配像素点的匹配窗口内的像素点的预设编码；根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述视差图，从所述第二图像中确定出与所述第一图像中的待匹配像素点对应的匹配像素点；根据第一图像中的待匹配像素点，和所述第二图像中的与所述第一图像中的待匹配像素点对应的匹配像素点，确定第一深度图像。2.根据权利要求1所述的方法，其特征在于，根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的灰度值和预设编码规则，确定所述待匹配像素点的匹配窗口内的像素点的预设编码，包括：将所述待匹配像素点的匹配窗口内的像素点的灰度值分别与所述第一图像中的待匹配像素点的灰度值进行比较；根据比较结果，将所述待匹配像素点的匹配窗口内的灰度值小于或等于所述待匹配像素点的灰度值的像素点的预设编码确定为1；将所述待匹配像素点的匹配窗口内的灰度值大于所述待匹配像素点的灰度值的像素点的预设编码确定为0。3.根据权利要求1所述的方法，其特征在于，根据所述第一图像中的待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述视差图，从所述第二图像中确定出与所述第一图像中的待匹配像素点对应的匹配像素点，包括：根据所述待匹配像素点的第一坐标和所述视差图，从所述第二图像中筛选出多个像素点作为测试像素点；确定测试像素点的灰度值，以及测试像素点的匹配窗口内的像素点的预设编码；根据所述待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述测试像素点的灰度值、所述测试像素点的匹配窗口内的像素点的预设编码，计算所述待匹配像素点与所述测试像素点的匹配代价；将匹配代价数值最小的测试像素点确定为与所述第一图像中的待匹配像素点对应的匹配像素点。4.根据权利要求3所述的方法，其特征在于，根据所述待匹配像素点的灰度值、所述待匹配像素点的匹配窗口内的像素点的预设编码、所述测试像素点的灰度值、所述测试像素点的匹配窗口内的像素点的预设编码，计算所述待匹配像素点与所述测试像素点的匹配代价，包括：按照以下公式，计算所述待匹配像素点与所述测试像素点的匹配代价：其中，C表示为待匹配像素点与测试像素点的匹配代价，表示为第一图像中的待匹配像素点的灰度值，表示为第二图像中的测试像素点的灰度值，表示为第一图像中待匹配像素点的匹配窗口内的编号为k的像素点的预设编码，表示为第二图像中测试像素点的匹配窗口内的编号为k的像素点的预设编码，n表示...

【专利技术属性】
技术研发人员：宋展，黄舒兰，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东,44