目标模型的训练方法、目标检测方法及装置制造方法及图纸

本申请公开了目标模型的训练方法、目标检测方法及装置，人工智能技术领域，尤其涉及计算机视觉、目标检测技术领域。该目标模型的训练方法的具体实现方案为：利用目标模型对样本图像进行处理，得到第一检测结果和真值损失信息。利用第一模型对样本图像进行处理，得到第二检测结果，其中，目标模型的各卷积层与第一模型的各卷积层一一对应。根据真值损失信息，得到样本图像的样本权重。根据第一检测结果、第二检测结果和样本权重得到目标蒸馏损失信息。基于真值损失信息和目标蒸馏损失信息，利用第一模型对目标模型进行训练，得到经训练的目标模型。目标模型。目标模型。

【技术实现步骤摘要】
目标模型的训练方法、目标检测方法及装置


[0001]本申请涉及人工智能
，尤其涉及计算机视觉、目标检测
，具体地，涉及一种目标模型的训练方法、目标检测方法及装置。

技术介绍

[0002]目标检测是计算机视觉
中的重要研究方向之一，是一种基于目标几何和统计特征的图像分割，它将目标的分割和识别合二为一。
[0003]随着人工智能技术的发展，利用计算机图像处理技术对目标进行实时动态跟踪检测，在智能交通、医学器械定位等方面得到广泛应用。

技术实现思路

[0004]本申请提供了一种目标模型的训练方法、目标检测方法及装置。
[0005]根据本申请的一方面，提供了一种目标模型的训练方法，包括：利用目标模型对样本图像进行处理，得到第一检测结果和真值损失信息。利用第一模型对样本图像进行处理，得到第二检测结果，其中，目标模型的各卷积层与第一模型的各卷积层一一对应；根据真值损失信息，得到样本图像的样本权重。根据第一检测结果、第二检测结果和样本权重得到目标蒸馏损失信息。基于真值损失信息和目标蒸馏损失信息，利用第一模型对目标模型进行训练，得到经训练的目标模型。
[0006]根据本申请的另一方面，提供了一种目标检测方法，包括：利用目标模型对待检测图像进行卷积处理，得到目标二维图像特征；其中，目标模型是利用上述目标模型的训练方法训练得到的。利用预定深度分布图对目标二维图像特征进行深度估计，得到目标深度分布特征图。根据目标深度特征分布图和目标二维特征图，得到目标三维特征图。对目标三维特征图进行检测处理，得到目标检测结果。
[0007]根据本申请的另一方面，提供了一种模型的训练装置，包括：第一处理模块、第二处理模块、样本权重获得模块、蒸馏损失获得模块和训练模块。其中，第一处理模块，用于利用目标模型对样本图像进行处理，得到第一检测结果和真值损失信息。第二处理模块，用于利用第一模型对样本图像进行处理，得到第二检测结果，其中，目标模型的各卷积层与第一模型的各卷积层一一对应。样本权重获得模块，用于根据真值损失信息，得到样本图像的样本权重。蒸馏损失获得模块，用于根据第一检测结果、第二检测结果和样本权重得到目标蒸馏损失信息。训练模块，用于基于真值损失信息和目标蒸馏损失信息，利用第一模型对目标模型进行训练，得到经训练的目标模型。
[0008]根据本申请的另一方面，提供了一种目标检测装置，包括：卷积模块、深度估计模块、特征融合模块和检测模块。其中，卷积模块，用于利用目标模型对待检测图像进行卷积处理，得到目标二维图像特征；其中，目标模型是利用上述目标模型的训练方法训练得到的。深度估计模块，用于利用预定深度分布图对目标二维图像特征进行深度估计，得到目标深度分布特征图。特征融合模块，用于根据目标深度特征分布图和目标二维特征图，得到目
标三维特征图。检测模块，用于对目标三维特征图进行检测处理，得到目标检测结果。
[0009]根据本申请的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。
[0010]根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行如上所述的方法。
[0011]根据本申请的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如上所述的方法。
[0012]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0013]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0014]图1示意性示出了根据本申请实施例的可以应用目标模型的训练方法、目标检测方法及装置的示例性系统架构；
[0015]图2示意性示出了根据本申请实施例的知识蒸馏框架示意图；
[0016]图3示意性示出了根据本申请实施例的目标模型的训练方法的流程图；
[0017]图4示意性示出了根据本申请实施例的得到目标蒸馏损失信息的示意图；
[0018]图5示意性示出了根据本申请实施例的得到特征蒸馏损失信息的示意图；
[0019]图6示意性示出了根据本申请实施例的得到结果蒸馏损失信息的示意图；
[0020]图7示意性示出了根据本申请实施例的利用第一模型根据目标模型的损失信息训练目标模型的示意图；
[0021]图8示意性示出了根据本申请实施例的目标检测方法的流程图；
[0022]图9示意性示出了根据本申请实施例的目标模型的训练装置的框图；
[0023]图10示意性示出了根据本申请实施例的目标检测装置的框图；以及
[0024]图11示意性示出了根据本申请实施例的适于实现目标模型的训练方法或目标检测方法的电子设备的框图。
具体实施方式
[0025]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0026]深度学习模型由于受限于资源容量，很难将深度学习模型部署在资源受限的设备上，例如：嵌入式设备或移动设备。因此，可以利用知识蒸馏技术，有效从大型的教师模型中学习到小型的学生模型。一般地，教师模型指的是单个复杂网络或者是若干网络的集合，而学生模型由于网络规模较小，表达能力有限。可以利用大模型学习到的知识去指导小模型训练，使得小模型具有与大模型相当的性能，但是参数数量大幅降低，从而实现模型压缩与
加速，这就是知识蒸馏与迁移学习在模型优化中的应用。
[0027]在目标检测
，利用知识蒸馏技术训练学生模型时，由于样本图像之间的特征差异较大，给学生模型在知识蒸馏的过程中带来了较大的困难，导致知识蒸馏的效率较低。
[0028]有鉴于此，本申请实施例提出了一种目标模型的训练方法。利用目标模型对样本图像进行处理，得到第一检测结果和真值损失信息。利用第一模型对样本图像进行处理，得到第二检测结果，其中，目标模型的各卷积层与第一模型的各卷积层一一对应。根据真值损失信息，得到样本图像的样本权重。根据第一检测结果、第二检测结果和样本权重得到目标蒸馏损失信息。基于真值损失信息和目标蒸馏损失信息，利用第一模型对目标模型进行训练，得到经训练的目标模型。
[0029]根据本申请的实施例，利用真值损失信息得到样本图像的样本权重，再根据第一检测结果、第二检测结果和样本权重得到目标蒸馏损失信息。使得在知识蒸馏的过程中，目标模型能够更加关注于样本权重较高的样本图像的学习，提高了知识蒸馏的效本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标模型的训练方法，包括：利用目标模型对样本图像进行处理，得到第一检测结果和真值损失信息；利用第一模型对所述样本图像进行处理，得到第二检测结果，其中，所述目标模型的各卷积层与所述第一模型的各卷积层一一对应；根据所述真值损失信息，得到所述样本图像的样本权重；根据所述第一检测结果、所述第二检测结果和所述样本权重得到目标蒸馏损失信息；以及基于所述真值损失信息和所述目标蒸馏损失信息，利用所述第一模型对所述目标模型进行训练，得到经训练的目标模型。2.根据权利要求1所述的方法，其中，所述目标蒸馏损失信息包括特征蒸馏损失信息和结果蒸馏损失信息，其中，所述根据所述第一检测结果、所述第二检测结果和所述样本权重得到目标蒸馏损失信息，包括：根据所述第一检测结果，从所述目标模型输出的第一特征图中提取第一图像特征；根据所述第二检测结果，从所述第一模型输出的第二特征图中提取第二图像特征；根据所述第一图像特征、所述第二图像特征和所述样本权重，得到特征蒸馏损失信息；根据所述第一检测结果、所述第二检测结果和所述样本权重，得到结果蒸馏损失信息；以及根据所述特征蒸馏损失信息和所述结果蒸馏损失信息，得到所述目标蒸馏损失信息。3.根据权利要求2所述的方法，其中，所述第一图像特征包括第一二维图像特征和第一三维图像特征，所述第一特征图包括第一二维特征图和第一三维特征图，所述第一检测结果包括第一检测框的位置信息，所述根据所述第一检测结果，从所述目标模型输出的第一特征图中提取第一图像特征，包括：根据所述第一检测框的位置信息，从所述目标模型输出的所述第一二维特征图中提取所述第一二维图像特征；以及根据所述第一检测框的位置信息，从所述目标模型输出的所述第一三维特征图中提取所述第一三维图像特征。4.根据权利要求3所述的方法，其中，所述根据所述第一检测框的位置信息，从所述目标模型输出的所述第一二维特征图中提取所述第一二维图像特征，包括：根据来自图像采集设备的设备参数信息，将所述第一检测框映射到所述第一二维特征图中，得到第一二维感兴趣区域特征图；以及对所述第一二维感兴趣区域特征图进行池化处理，得到所述第一二维图像特征。5.根据权利要求3所述的方法，其中，所述根据所述第一检测框的位置信息，从所述目标模型输出的所述第一三维特征图中提取所述第一三维图像特征，包括：将所述第一检测框映射到所述第一三维特征图中，得到第一三维感兴趣区域特征图；以及对所述第一三维感兴趣区域特征图进行池化处理，得到所述第一三维图像特征。6.根据权利要求2所述的方法，其中，所述第二图像特征包括第二二维图像特征和第二三维图像特征，所述第二特征图包括第二二维特征图和第二三维特征图，所述第二检测结果包括第二检测框的位置信息，所述根据所述第二检测结果，从所述第一模型输出的第二
特征图中提取第二图像特征，包括：根据所述第二检测框的位置信息，从所述第一模型输出的所述第二二维特征图中提取所述第二二维图像特征；以及根据所述第二检测框的位置信息，从所述第一模型输出的所述第二三维特征图中提取所述第二三维图像特征。7.根据权利要求6所述的方法，其中，所述根据所述第二检测框的位置信息，从所述第一模型输出的所述第二二维特征图中提取所述第二二维图像特征，包括：根据来自图像采集设备的设备参数信息，将所述第二检测框映射到所述第二二维特征图中，得到第二二维感兴趣区域特征图；以及对所述第二二维感兴趣区域特征图进行池化处理，得到所述第二二维图像特征。8.根据权利要求6所述的方法，其中，所述根据所述第二检测框的位置信息，从所述第一模型输出的所述第二三维特征图中提取所述第二三维图像特征，包括：将所述第二检测框映射到所述第二三维特征图中，得到第二三维感兴趣区域特征图；以及对所述第二三维感兴趣区域特征图进行池化处理，得到所述第二三维图像特征。9.根据权利要求2所述的方法，其中，所述第一图像特征包括第一二维图像特征和第一三维图像特征，所述第二图像特征包括第二二维图像特征和第二三维图像特征，所述根据所述第一图像特征、所述第二图像特征和所述样本权重，得到特征蒸馏损失信息，包括：根据所述第一二维图像特征、所述第二二维图像特征和所述样本权重，得到二维图像特征的蒸馏损失信息；根据所述第一三维图像特征、所述第二三维图像特征和所述样本权重，得到三维图像特征的蒸馏损失信息；以及根据所述二维图像特征的蒸馏损失信息和所述三维图像特征的蒸馏损失信息，得到所述特征蒸馏损失信息。10.根据权利要求2所述的方法，其中，所述第一检测结果包括第一检测框的位置信息和第一目标类别信息；所述第二检测结果包括第二检测框的位置信息和第二目标类别信息；所述根据所述第一检测结果、所述第二检测结果和所述样本权重，得到结果蒸馏损失信息，包括：根据所述第一检测框的位置信息和所述第二检测框的位置信息和所述样本权重，得到位置蒸馏损失信息；根据所述第一目标类别信息、所述第二目标类别信息和所述样本权重，得到所述类别蒸馏损失信息；以及根据所述位置蒸馏损失信息和所述类别蒸馏损失信息，得到所述结果蒸馏损失信息。11.根据权利要求1所述的方法，其中，所述利用所述目标模型对所述样本图像进行处理，得到第一检测结果和真值损失信息，包括：利用所述目标模型对所述样本图像进行卷积处理，得到第一二维特征图；利用预定深度分布图对所述第一二维特征图进行深度估计，得到第一深度特征分布图；根据所述第一深度特征分布图和所述第一二维特征图，得到所述第一三维特征图；
对所述第一三维特征图进行检测处理，得到所述第一检测结果；以及基于真值损失函数，根据所述第一检测结果和样本标签，得到所述真值损失信息。12.根据权利要求11所述的方法，其中，所述根据所述第一深度特征分布图和所述第一二维特征图，得到所述第一三维特征图，包括：基于张量点积算法，对所述第一深度特征分布图和所述第一二维特征图进行处理，得到第一中间特征图；根据预定标定关系对所述第一中间特征图进行坐标转换处理，得到所述第二中间特征图；以及对所述第二中间特征图进行降维处理，得到所述第一三维特征图。13.根据权利要求1所述的方法，其中，所述利用所述第一模型对所述样本图像进行处理，得到第二检测结果，包括：利用所述第一模型对所述样本图像进行卷积处理，得到第二二维特征图；利用预定深度分布图对所述第二二维特征图进行深度估计，得到第二深度特征分布图；根据所述第二深度特征分布图和所述第二二维特征图，得到所述第二三维特征图；以及对所述第二三维特征图进行检测处理，得到所述第二检测结果。14.根据权利要求13所述的方法，其中，所述根据所述第二深度特征分布图和所述第二二维特征图，得到所述第二三维特征图，包括：基于张量点积算法，对所述第二深度特征分布图和所述第二二维特征图进行处理，得到第三中间特征图；根据预定标定关系对所述第三中间特征图进行坐标转换处理，得到所述第四中间特征图；以及对所述第四中间特征图进行降维处理，得到所述第二三维特征图。15.根据权利要求1所述的方法，其中，所述基于所述真值损失信息和所述目标蒸馏损失信息，利用所述第一模型对所述目标模型进行训练，得到经训练的目标模型，包括：根据所述真值损失信息和所述目标蒸馏损失信息，得到所述目标模型的损失信息；以及基于所述目标模型的损失信息，调节所述目标模型的参数，得到经训练的目标模型。16.一种目标检测方法，包括：利用目标模型对待检测图像进行卷积处理，得到目标二维图像特征；其中，所述目标模型是利用权利要求1～15任一项所述的训练方法训练得到的；利用预定深度分布图对所述目标二维图像特征进行深度估计，得到目标深度分布特征图；根据所述目标深度特征分布图和所述目标二维特征图，得到所述目标三维特征图；以及对所述目标三维特征图进行检测处理，得到目标检测结果。17.一种目标模型的训练装置，包括：第一处理模块，用于利用目标模型对样本图像进行处理，得到第一检测结果和真值损
失信息；第二处理模块，用于利用第一模型对所述样本图像进行处理，得到第二检测结果，其中，所述目标模型的各卷积层与所述第一模型的各卷积层一一对应；样...

【专利技术属性】
技术研发人员：王童，叶晓青，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：