本发明专利技术提供一种深度图处理方法、装置及电子设备。所述方法包括：基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及第一深度图的第一置信度图；确定第一置信度图中低置信区的面积，并得到低置信区和高置信区；当第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和第二深度图获得第三深度图，并对第三深度图进行深度图的后续处理和应用；当第一置信度图中低置信区的面积小于预定阈值时，对第一深度图进行深度图的后续处理和应用。本发明专利技术提高深度图的质量。的质量。的质量。
【技术实现步骤摘要】
深度图处理方法、装置及电子设备
[0001]本专利技术涉及计算机视觉
，尤其涉及一种深度图处理方法、装置及电子设备。
技术介绍
[0002]随着计算机技术、多媒体技术的发展，人们对三维世界的感知需求不断提升，越来越多的应用需要获取三维场景相对于摄像机的距离(即深度)，如散景虚化、三维重建、人机交互、模式识别等，都是利用深度图来表征物体的第三维信息。而一般的摄像技术只能以二维的方式记录三维的空间，因此，如何获取高质量的深度信息成了计算机视觉至关重要的技术。
[0003]常见的深度图产生方法有立体匹配算法，如局部立体匹配、全局立体匹配和二者相结合形成的半全局立体匹配。局部立体匹配算法大多基于窗口实现，其复杂度低、易于实时实现，但局部立体匹配算法产生的深度图往往噪声较大，在低纹理区域、重复纹理区域和遮挡区域容易产生错误匹配。全局算法一般加入平滑项，通过解决最优化问题来计算，往往复杂度高，计算成本较大。半全局立体匹配作为逐像素匹配的方法，采用互信息评价匹配代价，并通过动态规划在一维平滑约束中实现最优路径的搜索。以上基于立体匹配的算法都容易在低纹理区域、重复纹理区域和遮挡区域等产生错误匹配，从而得到错误的深度值。
技术实现思路
[0004]本专利技术提供的深度图处理方法、装置及电子设备，能够在双目立体匹配的基础上，结合基于深度学习的单目深度估计，提高深度图的质量。
[0005]第一方面，本专利技术提供一种深度图处理方法，所述方法包括：
[0006]基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；
[0007]确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；
[0008]当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；
[0009]当所述第一置信度图中低置信区的面积小于所述预定阈值时，对所述第一深度图进行深度图的后续处理和应用。
[0010]可选地，在所述基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，所述方法还包括：
[0011]基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。
[0012]可选地，所述利用所述对应关系和所述第二深度图获得第三深度图包括：
[0013]对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合
所述第一深度图分布。
[0014]可选地，所述利用所述对应关系和所述第二深度图获得第三深度图包括：
[0015]将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；
[0016]将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。
[0017]第二方面，本专利技术提供一种深度图处理装置，所述装置包括：
[0018]双目立体匹配单元，用于基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；
[0019]确定单元，用于确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；
[0020]单目深度估计单元，用于当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图；
[0021]拟合单元，用于对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系；
[0022]第一处理单元，用于利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；
[0023]第二处理单元，用于当所述第一置信度图中低置信区的面积小于所述预定阈值，对所述第一深度图进行深度图的后续处理和应用。
[0024]可选地，所述装置还包括：
[0025]模型建立单元，用于在所述双目立体匹配单元基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。
[0026]可选地，所述第一处理单元，还用于对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合所述第一深度图分布。
[0027]可选地，所述第一处理单元，还用于将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。
[0028]第三方面，本专利技术提供一种电子设备，所述电子设备包括：
[0029]至少一个处理器；以及
[0030]与所述至少一个处理器通信连接的存储器；其中，
[0031]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述深度图处理方法。
[0032]第四方面，本专利技术提供一种芯片，所述芯片包括：
[0033]至少一个处理器；以及
[0034]与所述至少一个处理器通信连接的存储器；其中，
[0035]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一
个处理器执行，以使所述至少一个处理器能够执行上述深度图处理方法。
[0036]第五方面，本专利技术提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现上述深度图处理方法。
[0037]本专利技术实施例提供的深度图处理方法、装置及电子设备，将基于深度学习的单目深度估计和基于双目立体匹配深度估计相结合，将二者的优势互补，能够得到更准确的深度图，提升深度图的质量，特别是在密集重复纹理、低纹理、遮挡区域等容易匹配错误的区域；另外，对于无量纲或图像处理域不同(深度图域或视差图域)的单目深度建立和双目立体匹配深度的关系，可将单目深度转换到双目深度分布，可无缝连接后续处理和应用。
附图说明
[0038]图1为本专利技术一实施例深度图处理方法的流程图；
[0039]图2为本专利技术另一实施例深度图处理方法的流程图；
[0040]图3为本专利技术一实施例深度图处理装置的结构示意图；
[0041]图4为本专利技术另一实施例深度图处理装置的结构示意图。
具体实施方式
[0042]为使本专利技术实施例的目的、技术方案和本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种深度图处理方法，其特征在于，所述方法包括：基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图，并对所述高置信区内的第一深度图和第二深度图进行拟合，得到对应关系，利用所述对应关系和所述第二深度图获得第三深度图，并对所述第三深度图进行深度图的后续处理和应用；当所述第一置信度图中低置信区的面积小于所述预定阈值时，对所述第一深度图进行深度图的后续处理和应用。2.根据权利要求1所述的方法，其特征在于，在所述基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图之前，所述方法还包括：基于深度学习进行单目深度估计模型训练，得到单目深度估计模型。3.根据权利要求1或2所述的方法，其特征在于，所述利用所述对应关系和所述第二深度图获得第三深度图包括：对所述第二深度图通过所述对应关系计算得到第三深度图，所述第三深度图符合所述第一深度图分布。4.根据权利要求1或2所述的方法，其特征在于，所述利用所述对应关系和所述第二深度图获得第三深度图包括：将所述低置信区内部的第二深度图通过所述对应关系计算得到低置信区内部的第四深度图；将所述低置信区内部的第一深度图中的像素用所述第四深度图中的对应像素替换，即：从高置信区中取所述第一深度图，从低置信区中取所述第四深度图，将所述第一深度图和所述第四深度图融合，得到第三深度图。5.一种深度图处理装置，其特征在于，所述装置包括：双目立体匹配单元，用于基于双目立体匹配算法对输入的主图和副图进行立体匹配，得到第一深度图以及所述第一深度图的第一置信度图；确定单元，用于确定所述第一置信度图中低置信区的面积，并得到低置信区和高置信区；单目深度估计单元，用于当所述第一置信度图中低置信区的面积大于或等于预定阈值时，采用单目深度估计模型对所述主图进行单目深度估计，得到第二深度图；拟合单元，用于对所述高置...
【专利技术属性】
技术研发人员：董晓霞，
申请(专利权)人：展讯通信上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。