目标深度估计模型训练方法和目标深度估计方法技术

本公开实施提供一种目标深度估计模型训练方法和目标深度估计方法。目标深度估计模型训练方法包括：获取多组训练样本，每组训练样本均包括样本图像和图像标签，图像标签包括样本图像中关注目标的标注深度；获取样本图像对应的深度先验信息，深度先验信息包括样本图像中像素的先验深度；采用样本图像、深度先验信息和图像标签对目标深度预测模型进行训练。本方案提供的目标深度预测模型训练方法相比于现有技术的模型训练方法采用的训练样本的有效信息量更多，进而使得训练得到的目标深度预测模型更为精准，具有更为稳定的深度感知能力。力。力。

【技术实现步骤摘要】
目标深度估计模型训练方法和目标深度估计方法


[0001]本公开涉及目标感知
，具体涉及一种目标深度估计模型训练方法和目标深度估计方法。

技术介绍

[0002]在辅助驾驶、机器人控制等
，已有的环境感知方法包括基于图像处理的环境感知方法。基于图像处理的环境感知方法采用预先训练的深度回归估计模型，根据拍摄图像中各个像素的像素灰度，估计拍摄图像中目标的深度。深度回归估计模型的训练精度和泛化质量决定了实际使用时目标深度估计的准确性。
[0003]但是，现有技术在采用训练样本对深度回归估计模型进行训练时，训练精度很难达到预先设定的回归验证指标。也就是说，采用现有的深度回归估计模型训练方法很难训练得到质量较好的深度回归估计模型。

技术实现思路

[0004]为了解决上述技术问题，本公开实施提供一种目标深度估计模型训练方法和目标深度估计方法。
[0005]第一方面，本公开实施例提供一种目标深度估计模型训练方法，包括：
[0006]获取多组训练样本，每组训练样本均包括样本图像和图像标签，所述图像标签包括所述样本图像中关注目标的标注深度；
[0007]获取所述样本图像对应的深度先验信息，所述深度先验信息包括所述样本图像中像素的先验深度；
[0008]采用样本图像、所述深度先验信息和所述图像标签对目标深度预测模型进行训练。
[0009]第二方面，本公开实施例提供一种目标深度预测方法，包括：
[0010]获取拍摄图像，以及获取所述拍摄图像对应的深度先验信息，所述深度先验信息包括所述样本图像中像素的先验深度；
[0011]将所述样本图像和所述深度先验信息输入到目标深度预测模型，得到所述拍摄图像中关注目标的预测深度；
[0012]其中，所述目标深度预测模型采用如前所述的目标深度预测模型训练方法训练得到。
[0013]第三方面，本公开实施例提供一种目标深度估计模型训练装置，包括：
[0014]训练样本获取单元，用于获取多组训练样本，每组训练样本均包括样本图像和图像标签，所述图像标签包括所述样本图像中关注目标的标注深度；
[0015]深度先验信息获取单元，用于获取所述样本图像对应的深度先验信息，所述深度先验信息包括所述样本图像中像素的先验深度；
[0016]模型训练单元，用于采用样本图像、所述深度先验信息和所述图像标签对目标深
度预测模型进行训练。
[0017]第四方面，本公开实施例提供一种目标深度预测装置，包括：
[0018]输入数据获取单元，用于获取拍摄图像，以及获取所述拍摄图像对应的深度先验信息，所述深度先验信息包括所述样本图像中像素的先验深度；
[0019]预测单元，用于将所述样本图像和所述深度先验信息输入到目标深度预测模型，得到所述拍摄图像中关注目标的预测深度；
[0020]其中，所述目标深度预测模型采用如前所述的目标深度预测模型训练装置训练得到。
[0021]第五方面，本公开实施例提供一种计算设备，包括处理器和存储器，所述存储器用于存储计算机程序；所述计算机程序在被所述处理器加载时，使所述处理器执行如前所述的目标深度估计模型训练方法或者目标深度预测方法。
[0022]第六方面，本公开实施例提供一种计算机可读存储介质，所述存储介质存储有计算机程序，当计算机程序被处理器执行时，使得处理器实现如前所述的目标深度估计模型训练方法或者目标深度预测方法。
[0023]本公开实施例提供的技术方案与现有技术相比具有如下优点：
[0024]本公开实施例提供的模型训练方法，在对目标深度预测模型训练之前先获取样本图像的深度先验信息，随后采用深度先验信息和训练样本中的样本图像和图像标签对目标深度预测模型进行训练。在模型训练时，深度先验信息中的先验深度可以作为关注目标的估计深度的参照，并以此参照结合样本图像的像素信息和图像标签中的标注深度对模型节点参数进行调整。采用先验深度作为关注目标的估计深度的参照，并以此在对目标深度预测模型的节点参数进行训练时，可以使得模型节点隐式利用参照作为对节点参数调整的依据。由于可以隐式的利用参照作为对节点参数调整的依据，本方案提供的目标深度预测模型训练方法相比于现有技术的模型训练方法采用的训练样本的有效信息量更多，进而使得训练得到的目标深度预测模型更为精准，具有更为稳定的深度感知能力。
附图说明
[0025]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0026]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图，其中：
[0027]图1是本公开实施例体用的目标深度预测模型训练方法的流程图；
[0028]图2是本公开一些实施例提供的获取深度先验信息的方法流程图；
[0029]图3是本公开一些实施例提供的获取深度先验信息的方法流程图；
[0030]图4是本公开一些实施例提供的目标深度预测方法流程图；
[0031]图5是本公开一些实施例提供的获取所述拍摄图像对应的深度先验信息流程图；
[0032]图6是本公开一些实施例提供的目标深度估计模型训练装置的结构示意图；
[0033]图7是本公开一些实施例提供的目标深度预测装置的结构示意图；
[0034]图8是本公开一些实施例提供的计算设备的结构示意图。
具体实施方式
[0035]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0036]本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0037]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0038]本公开实施例提供一种目标深度预测模型训练方法，以及一种基于前述模型训练方法得到的目标深度预测方法。本公开实施例提供的方法通过获取到先验深度信息，利用先验深度信息和图像信息进行综合处理，实现目标深度预本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标深度估计模型训练方法，其特征在于，包括：获取多组训练样本，每组训练样本均包括样本图像和图像标签，所述图像标签包括所述样本图像中关注目标的标注深度；获取所述样本图像对应的深度先验信息，所述深度先验信息包括所述样本图像中像素的先验深度；采用样本图像、所述深度先验信息和所述图像标签对目标深度预测模型进行训练。2.根据权利要求1所述的方法，其特征在于，获取所述样本图层对应的深度先验信息包括：对所述样本图像中的像素进行透射变换，得到像素对应的先验深度；按照所述样本图像中像素的坐标对对应的先验深度进行组合，得到所述深度先验信息。3.根据权利要求2所述的方法，其特征在于，在对所述样本图像的像素进行透射变换之前，所述方法还包括：获取拍摄相机的内外参和虚拟相机的内外参，所述虚拟相机为虚拟设置的以竖直向下角度拍摄道路图像的虚拟的相机；根据所述拍摄相机的内外参和所述虚拟相机的内外参，构建拍摄相机成像平面到道路平面的单应矩阵；所述对所述样本图像中的各个像素进行透射变换包括：基于所述单应矩阵对所述样本图像的像素进行透射变换，得到像素对应的先验深度。4.根据权利要求3所述的方法，其特征在于，所述基于所述单应矩阵对所述样本图像的像素进行透射变换，得到像素对应的先验深度，包括：根据所述单应矩阵中的参数构建深度计算公式；根据所述样本图像各个像素的像素坐标和所述深度计算公式，得到像素对应的先验深度。5.根据权利要求4所述的方法，其特征在于，根据所述单应矩阵中的参数构建深度计算公式包括：根据所述单应矩阵中的参数确定分割纵坐标；为所述样本图像中纵坐标小于所述分割纵坐标的像素构建第一深度计算公式，以及为样本图像中纵坐标大于所述第一纵坐标的像素构建第二深度计算公式，其中所述第一深度计算公式为基于分割纵坐标进行多次泰勒展开得到公式；所述根据所述样本图像各个像素的像素坐标和所述深度计算公式，得到各个像素对应的先验深度，包括：针对所述样本图像中纵坐标小于或等于所述分割纵坐标的第一像素，采用所述第一像素的纵坐标和所述第一计算公式计算所述先验深度；以及，针...

【专利技术属性】
技术研发人员：何潇，张丹，
申请(专利权)人：驭势科技北京有限公司，
类型：发明
国别省市：