深度图像补全方法、装置、设备及存储介质制造方法及图纸

本申请涉及图像处理领域，提出了一种深度图像补全方法、装置、设备及存储介质。该方法包括：获取待补全图像的深度图像和彩色图像；将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。通过语义类别进行分组卷积，有利于分离类别干扰，提高深度补全计算的可信度，提高感知精度。提高感知精度。提高感知精度。

【技术实现步骤摘要】
深度图像补全方法、装置、设备及存储介质


[0001]本申请涉及图像处理领域，尤其涉及一种深度图像补全方法、装置、设备及存储介质。

技术介绍

[0002]由于深度相机具有测量精度较高、价格较为低廉的优点，深度相机在室内机器人等领域得到了广泛的应用。目前所使用的深度相机中，包括如基于红外结构光、基于激光ToF(英文全称为Time of flight，中文全称为飞行时间)或基于双目立体视觉的深度相机，可能会存在无法获得深度值的情况，导致获得的深度图像并不完全稠密，在智能感知系统中，比如机器人导航定位系统、自动驾驶系统等，容易造成漏检、误报等安全隐患。
[0003]为了填补缺失的深度信息，所提出的解决方案中包括基于纹理的一致性，利用无效点的领域深度值和对应区域的纹理相似性进行填充。但是，如果无效点区域对应的纹理与其它有深度值的区域的纹理不同时，这种方法所重建的深度信息的可信度不高，不利于提高智能感知系统的感知精度。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种深度图像补全方法、装置、设备及存储介质，以解决现有技术中进行深度图像补全时，如果无效点区域对应的纹理与其它有深度值的区域的纹理不同时，这种方法所重建的深度信息的可信度不高，不利于提高智能感知系统的感知精度的问题。
[0005]本申请实施例的第一方面提供了一种深度图像补全方法，所述方法包括：
[0006]获取待补全图像的深度图像和彩色图像；
[0007]将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；
[0008]根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；
[0009]通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。
[0010]结合第一方面，在第一方面的第一种可能实现方式中，将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果之后，所述方法还包括：
[0011]通过卷积条件随机场方法，基于输入的所述彩色图像，对所述语义分割结果的边缘进行优化处理。
[0012]结合第一方面，在第一方面的第二种可能实现方式中，根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像，包括：
[0013]通过语义分割结果中的标签确定各语义类别的像素所构成的掩膜，根据所述掩膜
确定语义图像；
[0014]通过所述掩膜对所述待补全图像的深度图像和所述彩色图像进行分割，得到基于语义类别分割深度图像和彩色图像；
[0015]基于所述语义类别分割的深度图像、彩色图像和所述语义图像，生成同一语义类别所对应的分组图像。
[0016]结合第一方面，在第一方面的第三种可能实现方式中，通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像之前，所述方法还包括：
[0017]确定其中一个语义类别的分组图像中的深度信息的可靠性；
[0018]将所述分组图像中的可靠性低于预定的可靠性阈值的像素的损失设置为小于第一损失值，将可靠性高于预定的可靠性阈值的像素的损失设置为大于第二损失值，其中，第一损失值小于第二损失值；
[0019]基于所设定的损失值对所述分组图像对应的第二神经网络模型进行训练。
[0020]结合第一方面的第三种可能实现方式，在第一方面的第四种可能实现方式中，所述分组图像中的可靠性低于预定的可靠性阈值的像素的损失设置为0。
[0021]结合第一方面，在第一方面的第五种可能实现方式中，将所述待补全图像输入至预设的第一神经网络模型之前，所述方法还包括：：
[0022]获取待补全图像中的深度图像，采集所述深度图像的相机参数；
[0023]根据所述相机参数和所述深度图像，确定所述待补全图像的点云图像；
[0024]所述将所述待补全图像输入至预设的第一神经网络模型为：将所述彩色图像和所述点云图像输入至预设的第一神经网络模型。
[0025]结合第一方面的第五种可能实现方式，在第一方面的第六种可能实现方式中，所述相机参数包括焦距和光心，根据所述相机参数和所述深度图像，确定所述待补全图像的点云图像，包括：
[0026]根据公式确定所述待补全图像的点云图像，其中，f
x
为x方向的焦距，f
y
为y方向的焦距，(c
x
,c
y
)分别表示x方向和y方向的光心，深度图像的像素的坐标为(u,v)，z为像素的深度，单个像素的点云坐标为(x,y,z)。
[0027]本申请实施例的第二方面提供了一种深度图像补全装置，所述装置包括：
[0028]图像获取单元，用于获取待补全图像的深度图像和彩色图像；
[0029]语义分割单元，用于将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；
[0030]分组单元，用于根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；
[0031]补全单元，用于通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。
[0032]本申请实施例的第三方面提供了深度图像补全设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述方法的步骤。
[0033]本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。
[0034]本申请实施例与现有技术相比存在的有益效果是：本申请通过第一神经网络模型对待补全图像的深度图像和彩色图像进行语义分割计算，确定待补全图像中的语义分割结果，基于所述语义分割结果对待补全图像中的彩色图像和深度图像进行割，得到不同语义类别对应的分组图像，通过第二神经网络模型对分组图像分别进行补全计算，得到各个分组对应的深度图像，通过加和得到待补全图像的深度图像，从而使得类别之间相互隔离，不会造成类别之间的干扰，从而能够有效的深度突变对深度补全计算的影响，有利于提高深度补全计算的可信度，有利于提高深度信息的感知精度。
附图说明
[0035]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本申请实施例提供的一种深度图像补全方法的实现流程示意图；...

【技术保护点】

【技术特征摘要】
1.一种深度图像补全方法，其特征在于，所述方法包括：获取待补全图像的深度图像和彩色图像；将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果；根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像；通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像，组合各个分组的深度图像得到待补全图像的深度图像。2.根据权利要求1所述的方法，其特征在于，将所述待补全图像输入至预设的第一神经网络模型，得到所述待补全图像的语义分割结果之后，所述方法还包括：通过卷积条件随机场方法，基于输入的所述彩色图像，对所述语义分割结果的边缘进行优化处理。3.根据权利要求1所述的方法，其特征在于，根据所述语义分割结果对所述待补全图像的深度图像和所述彩色图像进行分割，得到不同语义类别的分组图像，包括：通过语义分割结果中的标签确定各语义类别的像素所构成的掩膜，根据所述掩膜确定语义图像；通过所述掩膜对所述待补全图像的深度图像和所述彩色图像进行分割，得到基于语义类别分割深度图像和彩色图像；基于所述语义类别分割的深度图像、彩色图像和所述语义图像，生成同一语义类别所对应的分组图像。4.根据权利要求1所述的方法，其特征在于，通过预设的第二神经网络模型对所述分组图像的深度信息分别进行补全计算，得到各个分组的深度图像之前，所述方法还包括：确定其中一个语义类别的分组图像中的深度信息的可靠性；将所述分组图像中的可靠性低于预定的可靠性阈值的像素的损失设置为小于第一损失值，将可靠性高于预定的可靠性阈值的像素的损失设置为大于第二损失值，其中，第一损失值小于第二损失值；基于所设定的损失值对所述分组图像对应的第二神经网络模型进行训练。5.根据权利要求4所述的方法，其特征在于，所述分组图像中的可靠性低于预定的可靠性阈值的像素的损失设置为0。6.根据权利要求...

【专利技术属性】
技术研发人员：孙铁成，温焕宇，焦继超，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：