深度图的生成方法、装置、电子设备和存储介质制造方法及图纸

本申请实施例涉及计算机立体视觉技术领域，特别涉及一种深度图的生成方法、装置、电子设备和存储介质。深度图的生成方法包括：获取目标物体的左目彩色图和右目彩色图；对所述左目彩色图和所述右目彩色图进行图像分割，生成左目区域图和右目区域图；根据所述左目区域图和所述右目区域图生成第一深度区域图；提取所述第一深度区域图和所述目标物体的预设单目深度图中满足预设条件的目标深度区域，构成初始深度图；根据所述初始深度图和所述左目区域图生成所述目标物体的深度图。使得本申请可以在复杂场景中提高深度图像生成的鲁棒性和精度。度。度。

【技术实现步骤摘要】
深度图的生成方法、装置、电子设备和存储介质


[0001]本申请实施例涉及计算机立体视觉
，特别涉及一种深度图的生成方法、装置、电子设备和存储介质。

技术介绍

[0002]当前深度图像获取的普遍方式为双目相机、RGB
‑
D相机、激光雷达扫描仪或利用深度学习对单目图像进行深度恢复，双目深度恢复效率和精度较低；RGB
‑
D相机一般采用飞行时间法(Time Of Flight，简称TOF)深度传感器来进行深度数据的获取，而TOF深度传感器的最大采集深度往往不超过5米，所以在复杂场景中，RGB
‑
D相机恢复的深度图置信度较低；激光雷达扫描仪成本过高，且一般得到的是稀疏的深度图；单目深度恢复由于缺乏真实尺度信息，所以在复杂场景中效果不够鲁棒。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种深度图的生成方法、装置、电子设备和存储介质。旨在提高复杂场景中深度图像生成的鲁棒性和精度。
[0004]为实现上述目的，本申请实施例提供了一种深度图的生成方法，包括：获取目标物体的左目彩色图和右目彩色图；对所述左目彩色图和所述右目彩色图进行图像分割，生成左目区域图和右目区域图；根据所述左目区域图和所述右目区域图生成第一深度区域图；提取所述第一深度区域图和所述目标物体的预设单目深度图中满足预设条件的目标深度区域，构成初始深度图；根据所述初始深度图和所述左目区域图生成所述目标物体的深度图。
[0005]为实现上述目的，本申请实施例还提供一种深度图的生成装置，包括：获取模块，用于获取目标物体的左目彩色图和右目彩色图；分割模块，用于对所述左目彩色图和所述右目彩色图进行图像分割，生成左目区域图和右目区域图；第一生成模块，用于根据所述左目区域图和所述右目区域图生成第一深度区域图；第二生成模块，用于提取所述第一深度区域图和所述目标物体的预设单目深度图中满足预设条件的目标深度区域，构成初始深度图；第三生成模块，用于根据所述初始深度图和所述左目区域图生成所述目标物体的深度图。
[0006]为实现上述目的，本申请实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的深度图的生成方法。
[0007]为实现上述目的，本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的深度图的生成方法。
[0008]本申请提出的深度图的生成方法，在深度图的生成的过程中，获取目标物体的左目彩色图和右目彩色图；对所述左目彩色图和所述右目彩色图进行图像分割，生成左目区
域图和右目区域图；根据所述左目区域图和所述右目区域图生成第一深度区域图；提取所述第一深度区域图和所述目标物体的预设单目深度图中满足预设条件的目标深度区域，构成初始深度图；根据所述初始深度图和所述左目区域图生成所述目标物体的深度图；通过对从基于双目图像生成的第一深度区域图和预设的单目深度图中选取满足条件的目标区域，构成初始深度图，再结合初始深度图和双目图像中的左目图像生成深度图，能够从单目深度图和双目深度图中选取置信度较高的区域生成新的深度图，使得本申请能够在复杂场景中获取高精度的深度信息，提高在复杂场景中深度图像生成的鲁棒性和精度；解决了现有技术中在复杂场景下各深度恢复方法鲁棒性差的技术问题。
附图说明
[0009]图1是本申请实施方式提供的深度图的生成方法的流程图；
[0010]图2是本申请实施方式提供的深度图的生成方法中步骤103的流程图；
[0011]图3是本申请实施方式提供的深度图的生成方法的流程图；
[0012]图4是本申请实施方式提供的深度图的生成方法中的图像获取装置的结构示意图；
[0013]图5是本申请实施方式提供的深度图的生成方法中的终端示意图；
[0014]图6是本申请实施方式提供的深度图的生成方法的流程图；
[0015]图7是本申请实施方式提供的深度图的生成装置的结构示意图；
[0016]图8是本申请实施方式提供的电子设备的结构示意图。
具体实施方式
[0017]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本申请的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
[0018]本申请的一个实施例涉及一种深度图的生成方法，如图1所示，包括：
[0019]步骤101，获取目标物体的左目彩色图和右目彩色图。
[0020]在一示例实施中，通过双目摄像机或双目传感器对目标物体进行拍摄，生成目标物体的左目彩色图和右目彩色图；双目摄像机或双目传感器所生成的左目彩色图和右目彩色图可以是左目彩色图序列和右目彩色图序列。
[0021]步骤102，对左目彩色图和右目彩色图进行图像分割，生成左目区域图和右目区域图。
[0022]在一示例实施中，将左目彩色图和右目彩色图输入到输入预设的语义分析神经网络中进行图像分割，根据左目彩色图和右目彩色图中各像素点的信息，对左目彩色图和右目彩色图进行分割，生成左目区域图和右目区域图。
[0023]步骤103，根据左目区域图和右目区域图生成第一深度区域图。
[0024]在一示例实施中，第一深度区域图是基于三角化测距原理生成的，实际上就是根
据左目区域图和右目区域图的视差信息和形成左目彩色图和右目彩色图的双目摄像机或双目传感器的相机参数，来获取到左目区域图上每一个像素点的深度值，从而构成第一深度区域图。而当双目摄像机或双目传感器中的左目相机与右目相机不处于同一水平线时，还需要考虑左目区域图和右目区域图的旋转因子这一参数。步骤103可以由如图2所示的各子步骤实现，具体包括：
[0025]子步骤1031，对左目区域图和右目区域图分别进行特征提取处理，获取左目区域图的各左目特征点和右目区域图的右目特征点。
[0026]在一示例实施中，对左目区域图和右目区域图进行简称尺度不变特征变换(Scale Invariant Feature Transform，简称SIFT)特征提取，获取左目区域图的各左目特征点和右目区域图的各右目特征点。
[0027]子步骤1032，对各左目特征点和各右目特征点进行特征匹配，获取各左目特征点和各右目特征点的对应关系。
[0028]在一示例实施中，对左目区域图上的各左目特征点和右目区域图上的各右目特征点进行特征匹配，获取各左目特征点和右目特征点的对应关系，对应关系实际上为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度图的生成方法，其特征在于，包括：获取目标物体的左目彩色图和右目彩色图；对所述左目彩色图和所述右目彩色图进行图像分割，生成左目区域图和右目区域图；根据所述左目区域图和所述右目区域图生成第一深度区域图；提取所述第一深度区域图和所述目标物体的预设单目深度图中满足预设条件的目标深度区域，构成初始深度图；根据所述初始深度图和所述左目区域图生成所述目标物体的深度图。2.根据权利要求1所述的深度图的生成方法，其特征在于，所述方法还包括：获取生成所述左目彩色图和所述右目彩色图的双目相机的相机参数；所述根据所述左目区域图和所述右目区域图生成第一深度区域图，包括：对所述左目区域图和所述右目区域图分别进行特征提取处理，获取所述左目区域图的各左目特征点和所述右目区域图的各右目特征点；对各所述左目特征点和各所述右目特征点进行特征匹配，获取各所述左目特征点和各所述右目特征点的对应关系；根据所述对应关系获取各所述左目特征点和对应的所述右目特征点间的视差信息；根据所述相机参数和各所述左目特征点的视差信息，生成各所述左目特征点的深度信息；根据各所述左目特征点的深度信息和各所述左目特征点的位置信息，生成所述第一深度区域图。3.根据权利要求1所述的深度图的生成方法，其特征在于，所述提取所述第一深度区域图和所述目标物体的预设单目深度图中满足预设条件的目标深度区域，构成初始深度图，包括：对于所述第一深度区域图中的每一个第一深度区域，获取所述第一深度区域的平均深度值；当所述平均深度值满足所述条件时，则将在所述单目深度图中与所述第一深度区域对应的深度区域作为所述目标深度区域；或者，当所述平均深度值不满足所述条件时，将所述第一深度区域和所述左目区域图中与所述第一深度区域对应的左目区域输入预设深度恢复网络中，生成第一深度恢复区域，并作为作为所述目标深度区域；遍历所述第一深度区域图中的各所述第一深度区域，获取各所述目标深度区域，构成所述初始深度图。4.根据权利要求3所述的深度图的生成方法，其特征在于，所述提取所述第一深度区域图和所述目标物体的预设单目深度图中满足预设条件的目标深度区域，之前包括：根据所述左目区域图中各左目区域的位置，对所述单目深度图进行分割，生成第二深度区域图；所述提取所述第一深度区域图和所述目标物体的预设单目深度图中满足预设条件的目标深度区域，包括：提取所述第一深度区域图...

【专利技术属性】
技术研发人员：黄天胤，
申请(专利权)人：中兴通讯南京有限责任公司，
类型：发明
国别省市：