模型训练方法、质量评估方法、装置以及电子设备制造方法及图纸

本申请公开了一种模型训练方法、质量评估方法、装置以及电子设备，该模型训练方法包括：获取样本光学图像以及样本深度图像，样本光学图像中含有目标对象对应的目标区域；对样本深度图像中含有的目标对象进行区域分割，得到样本深度图像中含有的目标对象对应的实际区域；计算实际区域与目标区域之间的相似度，以基于计算得到的相似度生成样本深度图像对应的质量标签；基于样本深度图像和样本深度图像对应的质量标签对待训练的质量评估模型进行训练，得到训练完成的质量评估模型。上述方案，能够根据实际区域与目标区域之间的关系得到更加客观准确的质量标签，提高标签添加的效率，进而通过提高模型训练的训练样本质量来提高模型训练的效果。型训练的效果。型训练的效果。

【技术实现步骤摘要】
模型训练方法、质量评估方法、装置以及电子设备


[0001]本申请涉及计算机
，特别是涉及一种模型训练方法、质量评估方法、装置以及电子设备。

技术介绍

[0002]感知系统需要对周围环境进行感知或者识别然后做出判断，其主要同通过激光雷达、摄像头、深度相机等传感设备来获取图像数据。目前的感知系统中除了使用摄像头采集场景中的RGB(Red、Green、Blue)图像外，还使用深度相机采集场景中目标对象的深度图像，使用RGB
‑
D（RGB
‑
Depth Map）图像进行障碍物检测、显著性目标检测和环境感知等。
[0003]然而，由于深度传感器的特性以及场景中目标物体的材质、距离的特性，采集的深度图像往往会存在质量参差不齐、和RGB图像中的目标物体不匹配等问题，低质量的深度图像通常在与RGB数据进行融合时会产生很大的噪声，影响感知系统的决策和判断。因此，如何对深度图像进行准确的质量评估尤为重要。

技术实现思路

[0004]本申请至少提供一种模型训练方法、质量评估方法、模型训练装置、质量评估装置、电子设备以及计算机可读存储介质。
[0005]本申请第一方面提供了一种模型训练方法，包括：获取样本光学图像以及与样本光学图像关联的样本深度图像，样本光学图像中含有目标对象对应的目标区域；对样本深度图像中含有的目标对象进行区域分割，得到样本深度图像中含有的目标对象对应的实际区域；计算实际区域与目标区域之间的相似度，以基于计算得到的相似度生成样本深度图像对应的质量标签；基于样本深度图像和样本深度图像对应的质量标签对待训练的质量评估模型进行训练，得到训练完成的质量评估模型。
[0006]在一实施例中，对样本深度图像中含有的目标对象进行区域分割，得到样本深度图像中含有的目标对象对应的实际区域，包括：获取样本深度图像中含有的深度值的分布信息；基于深度值的分布信息，计算样本深度图像中含有的目标对象对应的目标分割阈值；基于目标分割阈值对样本深度图像中含有的目标对象进行区域分割，得到实际区域。
[0007]在一实施例中，基于深度值的分布信息，计算样本深度图像中含有的目标对象对应的目标分割阈值，包括：基于深度值的分布信息统计各个深度值对应的概率；基于各个深度值对应的概率构建样本深度图像对应的熵值函数；基于熵值函数计算得到目标分割阈值。
[0008]在一实施例中，计算实际区域与目标区域之间的相似度，以基于计算得到的相似度生成样本深度图像对应的质量标签，包括：对实际区域和目标区域之间进行区域映射处理，基于映射结果计算实际区域和目标区域之间的相似度；基于计算得到的相似度生成样本深度图像对应的质量标签。
[0009]在一实施例中，对实际区域和目标区域之间进行区域映射处理，基于映射结果计
算实际区域和目标区域之间的相似度，包括：分别将实际区域和目标区域映射至参考图像中；获取参考图像中实际区域和目标区域的重叠区域面积、目标区域的区域面积；基于重叠区域面积和目标区域的区域面积，计算得到实际区域和目标区域之间的相似度。
[0010]在一实施例中，基于计算得到的相似度生成样本深度图像对应的质量标签，包括：获取参考图像中目标区域和实际区域的合并区域面积；基于重叠区域面积和合并区域面积，计算得到相似度约束参数；基于相似度和相似度约束参数分别对应的权重，对相似度和相似度约束参数进行加权计算，得到目标区域与实际区域之间的关联分数；将关联分数作为样本深度图像对应的质量标签。
[0011]本申请第二方面还提供了一种质量评估方法，方法包括：获取待评估的深度图像；将待评估的深度图像输入至预先训练完成的质量评估模型，得到质量评估模型输出的质量评估结果；其中，质量评估模型是基于上述的模型训练方法得到的。
[0012]本申请第三方面提供了一种模型训练装置，包括：样本获取模块，用于获取样本光学图像以及与样本光学图像关联的样本深度图像，样本光学图像中含有目标对象对应的目标区域；区域分割模块，用于对样本深度图像中含有的目标对象进行区域分割，得到样本深度图像中含有的目标对象对应的实际区域；标签确定模块，用于计算实际区域与目标区域之间的相似度，以基于计算得到的相似度生成样本深度图像对应的质量标签；模型训练模块，用于基于样本深度图像和样本深度图像对应的质量标签对待训练的质量评估模型进行训练，得到训练完成的质量评估模型。
[0013]本申请第四方面还提供了一种质量评估装置，包括：图像获取模块，用于获取待评估的深度图像；质量评估模块，用于将待评估的深度图像输入至预先训练完成的质量评估模型，得到质量评估模型输出的质量评估结果；其中，质量评估模型是基于上述的模型训练方法得到的。
[0014]本申请第五方面提供了一种电子设备，包括存储器和处理器，处理器用于执行存储器中存储的程序指令，以实现上述模型训练方法或质量评估方法。
[0015]本申请第六方面提供了一种计算机可读存储介质，其上存储有程序指令，程序指令被处理器执行时实现上述模型训练方法或质量评估方法。
[0016]上述方案，通过分析实际区域与目标区域之间的关系得到样本深度图像对应的质量标签，相对人工添加样本深度图像的质量标签来说，本申请根据实际区域与目标区域之间的关系生成的样本深度图像的质量标签更加客观准确，且标签添加的效率更高，进而通过提高模型训练的训练样本质量来提高模型训练的效果。
[0017]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本申请。
附图说明
[0018]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本申请的实施例，并与说明书一起用于说明本申请的技术方案。
[0019]图1是本申请的模型训练方法的一示例性实施例的实施环境示意图；图2是本申请的模型训练方法的一示例性实施例的流程图；图3是本申请的一示例性实施例示出的获取样本光学图像对应的目标区域的示意
图；图4是本申请的一示例性实施例示出的模型训练的示意图；图5是本申请的一示例性实施例示出的质量评估模型的模型结构示意图；图6是本申请的一示例性实施例示出的计算相似度的示意图；图7是本申请的另一示例性实施例示出的模型训练的示意图；图8是本申请的质量评估方法的一示例性实施例的流程图；图9是本申请的一示例性实施例示出的模型训练装置的框图；图10是本申请的一示例性实施例示出的质量评估装置的框图；图11是本申请的一示例性实施例示出的电子设备的结构示意图；图12是本申请的一示例性实施例示出的计算机可读存储介质的结构示意图。
具体实施方式
[0020]下面结合说明书附图，对本申请实施例的方案进行详细说明。
[0021]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
[0022]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：获取样本光学图像以及与所述样本光学图像关联的样本深度图像，所述样本光学图像中含有目标对象对应的目标区域；对所述样本深度图像中含有的目标对象进行区域分割，得到所述样本深度图像中含有的目标对象对应的实际区域；计算所述实际区域与所述目标区域之间的相似度，以基于计算得到的相似度生成所述样本深度图像对应的质量标签；基于所述样本深度图像和所述样本深度图像对应的质量标签对待训练的质量评估模型进行训练，得到训练完成的质量评估模型。2.根据权利要求1所述的方法，其特征在于，所述对所述样本深度图像中含有的目标对象进行区域分割，得到所述样本深度图像中含有的目标对象对应的实际区域，包括：获取所述样本深度图像中含有的深度值的分布信息；基于所述深度值的分布信息，计算所述样本深度图像中含有的目标对象对应的目标分割阈值；基于所述目标分割阈值对所述样本深度图像中含有的目标对象进行区域分割，得到实际区域。3.根据权利要求2所述的方法，其特征在于，所述基于所述深度值的分布信息，计算所述样本深度图像中含有的目标对象对应的目标分割阈值，包括：基于所述深度值的分布信息统计各个深度值对应的概率；基于所述各个深度值对应的概率构建所述样本深度图像对应的熵值函数；基于所述熵值函数计算得到目标分割阈值。4.根据权利要求1所述的方法，其特征在于，所述计算所述实际区域与所述目标区域之间的相似度，以基于计算得到的相似度生成所述样本深度图像对应的质量标签，包括：对所述实际区域和所述目标区域之间进行区域映射处理，基于映射结果计算所述实际区域和所述目标区域之间的相似度；基于计算得到的相似度生成所述样本深度图像对应的质量标签。5.根据权利要求4所述的方法，其特征在于，所述对所述实际区域和所述目标区域之间进行区域映射处理，基于映射结果计算所述实际区域和所述目标区域之间的相似度，包括：分别将所述实际区域和所述目标区域映射至参考图像中；获取所述参考图像中所述实际区域和所述目标区域的重叠区域面积、所述目标区域的区域面积；基于所述重叠区域面积...

【专利技术属性】
技术研发人员：张攀军，汪鹏飞，马子昂，
申请(专利权)人：杭州华橙软件技术有限公司，
类型：发明
国别省市：