深度学习模型的训练方法、目标对象检测方法及装置制造方法及图纸

本公开提供了深度学习模型的训练方法、目标对象检测方法及装置，涉及人工智能技术领域，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等技术领域，可应用于自动驾驶、智能交通等场景。该训练方法的具体实现方案为：将训练样本中的样本图像输入深度学习模型，输出多个样本检测信息，训练样本还包括样本标签，多个样本检测信息与样本图像中的至少一个目标对象相关；根据多个样本检测信息之间的相关度，从多个样本检测信息中确定N个样本检测信息集；根据第一损失函数，处理样本标签和样本检测信息集中的样本检测信息，得到与样本检测信息集对应的第一损失值；根据第二损失函数和第一损失值训练深度学习模型，得到训练后的深度学习模型。度学习模型。度学习模型。

【技术实现步骤摘要】
深度学习模型的训练方法、目标对象检测方法及装置


[0001]本公开涉及人工智能
，尤其涉及计算机视觉、增强现实、虚拟现实、深度学习等
，可应用于自动驾驶、智能交通等场景。

技术介绍

[0002]随着人工智能技术的快速发展，越来越多的终端可以基于人工智能算法来识别周围空间的障碍物等目标对象来辅助终端执行相应地操作。例如无人车可以基于采集到的图像来检测周围空间中障碍物的精确位置，进而根据检测结果来实现自动泊车、自动避障等自动驾驶功能。

技术实现思路

[0003]本公开提供了一种深度学习模型的训练方法、目标对象检测方法、装置、电子设备、存储介质以及计算机程序产品。
[0004]根据本公开的一方面，提供了一种深度学习模型的训练方法，包括：将训练样本中的样本图像输入深度学习模型，输出多个样本检测信息，训练样本还包括与多个样本检测信息各自对应的样本标签，多个样本检测信息与样本图像中的至少一个目标对象相关；根据多个样本检测信息之间的相关度，从多个样本检测信息中确定N个样本检测信息集，N为大于1的整数；根据第一损失函数，处理样本标签和样本检测信息集中的样本检测信息，得到与样本检测信息集对应的第一损失值；根据第二损失函数和第一损失值训练深度学习模型，得到训练后的深度学习模型，第二损失函数适用于处理第一损失值，得到用于训练深度学习模型的第二损失值。
[0005]根据本公开的另一方面，提供了一种目标对象检测方法，包括：将获取到的待处理图像输入至深度学习模型，输出与待处理图像中的至少一个目标对象相关的N个目标检测信息，N为大于1的整数；其中，深度学习模型是根据本公开实施例提供的深度学习模型的训练方法训练得到的。
[0006]根据本公开的另一方面，提供了一种深度学习模型的训练装置，包括：样本检测信息获得模块，用于将训练样本中的样本图像输入深度学习模型，输出多个样本检测信息，训练样本还包括与多个样本检测信息各自对应的样本标签，多个样本检测信息与样本图像中的至少一个目标对象相关；样本检测信息集获得模块，用于根据多个样本检测信息之间的相关度，从多个样本检测信息中确定N个样本检测信息集，N为大于1的整数；第一损失值获得模块，用于根据第一损失函数，处理样本标签和样本检测信息集中的样本检测信息，得到与样本检测信息集对应的第一损失值；训练模块，用于根据第二损失函数和第一损失值训练深度学习模型，得到训练后的深度学习模型，第二损失函数适用于处理第一损失值，得到用于训练深度学习模型的第二损失值。
[0007]根据本公开的另一方面，提供了一种目标对象检测装置，包括：目标检测信息获得模块，用于将获取到的待处理图像输入至深度学习模型，输出与待处理图像中的至少一个
目标对象相关的N个目标检测信息，N为大于1的整数；其中，深度学习模型是根据本公开实施例提供的深度学习模型的训练方法训练得到的。
[0008]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行根据本公开实施例提供的方法。
[0009]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据本公开实施例提供的方法。
[0010]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开实施例提供的方法。
[0011]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0012]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0013]图1示意性示出了根据本公开实施例的可以应用目标对象检测方法及装置的示例性系统架构。
[0014]图2示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图。
[0015]图3示意性示出了根据本公开实施例的深度学习模型的训练方法的原理图。
[0016]图4示意性示出了根据本公开另一实施例的深度学习模型的训练方法的原理图。
[0017]图5示意性示出了根据本公开实施例的目标对象检测方法的流程图。
[0018]图6示意性示出了根据本公开实施例的深度学习模型的训练装置的框图。
[0019]图7示意性示出了根据本公开实施例的目标对象检测装置的框图。
[0020]图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
[0021]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0022]在本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
[0023]随着人工智能技术的快速发展，越来越多的终端可以基于人工智能算法来识别周围空间的障碍物、车道线等目标对象来辅助终端执行相应地操作。而专利技术人发现在自动驾驶等应用场景中，无人车等载具采集到的图像中包含有多样化的目标对象，例如可以包含有车辆、行人、车道线、交通标识牌等目标对象。而实现载具等自动驾驶功能需要针对多样化的目标对象各自的对象属性信息进行准确检测，可以基于深度学习模型来实现多个检测任务，并根据检测任务输出与对象属性信息对应的检测信息。例如可以针对图像中车辆的运动状态(如运动速度、运动方向)、位置、尺寸、朝向角等对象属性信息设定检测任务，得到
相应地检测信息。相应地，还可以对图像中的车道线、停车线等目标对象的形状、位置等对象属性信息设定检测任务，从而根据检测到的车道线来辅助载具执行自动驾驶功能。而针对多样化的目标对象各自的检测任务之间，可能存在检测任务差异性较大的情况，这将导致深度学习模型在实现差异性较大的检测任务时，会存在深度学习模型的整体检测任务的整体检测精度较高(例如6个检测任务中5个检测任务的检测精度较高)，而部分的检测任务检测精度较低(例如6个检测任务中1个检测任务的检测精度较低)的情况，这将影响自动驾驶等场景中载具地行驶状态，容易造成载具运动状态失控，甚至发生碰撞等风险。
[0024]同时，专利技术人还发现通常训练得到用于目标对象检测的深度学习模型的训练方法可能存在计算开销较大、训练时长过长等问题，难以满足实际的需求。
[0025]本公开的实施例提供了深度学习模型的训练方法、目标对象检测方法、装置、电子设备、存储介质以及计算机程序产品。该深度学习模型的训练方法，包括：将训练样本中的样本图像输入深度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型的训练方法，包括：将训练样本中的样本图像输入深度学习模型，输出多个样本检测信息，所述训练样本还包括与多个所述样本检测信息各自对应的样本标签，多个所述样本检测信息与所述样本图像中的至少一个目标对象相关；根据多个所述样本检测信息之间的相关度，从多个所述样本检测信息中确定N个样本检测信息集，N为大于1的整数；根据第一损失函数，处理所述样本标签和所述样本检测信息集中的样本检测信息，得到与所述样本检测信息集对应的第一损失值；根据第二损失函数和所述第一损失值训练所述深度学习模型，得到训练后的深度学习模型，所述第二损失函数适用于处理所述第一损失值，得到用于训练所述深度学习模型的第二损失值。2.根据权利要求1所述的方法，其中，所述第二损失函数基于第二权重参数构建得到，所述第二权重参数与所述第一损失值一一对应；其中，所述根据第二损失函数和所述第一损失值训练所述深度学习模型，得到训练后的深度学习模型包括：基于预设规则交替地执行第一训练过程和第二训练过程，直至所述第二损失函数收敛；以及将所述第二损失函数收敛的情况下对应的深度学习模型，确定为所述训练后的深度学习模型；其中，所述第一训练过程基于当前的所述第二损失函数训练所述深度学习模型，所述第二训练过程基于当前的所述第一损失值更新当前的所述第二权重参数。3.根据权利要求2所述的方法，其中，所述第一训练过程包括：根据基于当前的第二权重参数构建得到的第二损失函数，处理与N个当前的样本检测信息集各自对应的当前的第一损失值，得到当前的第二损失值；以及根据所述当前的第二损失值更新所述深度学习模型的当前的模型参数。4.根据权利要求3所述的方法，其中，所述第二损失函数关联有适用于更新所述第二权重参数的优化条件函数；所述第二训练过程包括：根据所述优化条件函数，处理N个所述样本检测信息集各自对应的当前的第一损失值，得到更新后的新的第二权重参数；以及根据所述新的第二权重参数，更新所述第二损失函数中当前的第二权重参数。5.根据权利要求3所述的方法，其中，所述第一训练过程还包括：根据所述当前的第二损失值更新所述第一损失函数中，与当前的样本检测信息对应的当前的第一权重参数，得到更新后的新的第一权重参数；其中，所述当前的第一损失值是根据所述当前的样本检测信息集中当前的所述样本检测信息，以及所述当前的第一权重参数得到的。6.根据权利要求2至5中任一项所述的方法，其中，所述基于预设规则交替地执行第一训练过程和第二训练过程包括：根据第一预设执行频次，迭代地执行所述第一训练过程；以及
根据第二预设执行频次执行所述第二训练过程，其中，所述第一预设执行频次大于所述第二预设执行频次。7.根据权利要求1所述的方法，其中，所述根据多个所述样本检测信息之间的相关度，从多个所述样本检测信息中确定N个样本检测信息集包括：根据聚类算法处理多个所述样本检测信息，得到相关度检测结果；以及根据所述相关度检测结果，从多个所述样本检测信息中确定N个所述样本检测信息集。8.根据权利要求1所述的方法，其中，所述样本目标对象包括以下至少一项：车辆、车道线、交通指示牌。9.根据权利要求1所述的方法，其中，所述样本检测信息包括以下至少一项：样本尺寸信息、样本位置信息、所述样本目标对象的样本类别信息。10.一种目标对象检测方法，包括：将获取到的待处理图像输入至深度学习模型，输出与所述待处理图像中的至少一个目标对象相关的N个目标检测信息，N为大于1的整数；其中，所述深度学习模型是根据权利要求1至8中任一项所述的方法训练得到的。11.根据权利要求10所述的方法，其中，所述深度学习模型包括图像特征提取网络和至少一个检测分支网络；其中，所述将获取到的待处理图像输入至深度学习模型，输出与所述待处理图像中的至少一个目标对象相关的N个目标检测信息包括：将所述待处理图像输入至所述图像特征提取网络，输出目标图像特征；以及将所述目标图像特征输入至所述至少一个检测分支网络，输出所述N个所述目标检测信息。12.根据权利要求11所述的方法，其中，所述图像特征提取网络包括骨干网络层、特征金字塔网络层和鸟瞰图特征检测层；其中，所述将所述待处理图像输入至所述图像特征提取网络，输出目标图像特征包括：将所述待处理图像输入至所述骨干网络层，输出第一图像特征；将所述第一图像特征输入至所述特征金字塔网络层，输出至少一个第二图像特征；将所述至少一个第二图像特征输入至所述鸟瞰图特征检测层，输出鸟瞰图特征，其中，所述目标图像特征包括所述鸟瞰图特征。13.根据权利要求10所述的方法，其中，所述目标对象包括以下至少一项：车辆、车道线、交通指示牌。14.根据权利要求10所述的方法，其中，所述目标检测信息包括以下至少一项：尺寸信息、位置信息、所述目标对象的类别信息。15.一种深度学习模型的训练装置，包括：样本检测信息获得模块，用于将训练样本中的样本图像输入深度学习模型，输出多个样本检测信息，所述训练样本还包括与多个所述样本检测信息各自对应的样本标签，多个所述样本检测信息与所述样本图像中的至少一个目标对象相关；样本检测信息集获得模块，用于根据多个所述样本检测信息之间的相关度，从多个所述样...

【专利技术属性】
技术研发人员：田野，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：