目标检测模型训练方法、目标检测方法、装置和电子设备制造方法及图纸

本公开提供了一种目标检测模型训练方法、目标检测方法、装置和电子设备，涉及人工智能技术领域，具体为深度学习、图像处理、计算机视觉技术领域。该方法包括：在教师模型中，根据样本图像得到教师序列特征；将教师查询向量和教师序列特征输入解码器得到增强教师查询向量，并根据增强教师查询向量进行预测得到教师预测信息；在学生模型中，根据样本图像得到学生序列特征；将学生查询向量和学生序列特征输入解码器得到增强学生查询向量，并根据增强学生查询向量进行预测得到学生预测信息；根据教师预测信息、学生预测信息和样本图像的真值信息，对教师查询向量进行训练，并对学生模型进行训练。通过上述技术方案能够提高目标检测性能。能。能。

【技术实现步骤摘要】
目标检测模型训练方法、目标检测方法、装置和电子设备


[0001]本公开涉及人工智能
，具体为深度学习、图像处理、计算机视觉
具体涉及一种目标检测模型训练方法、目标检测方法、装置和电子设备。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)的快速发展，人工智能已经广泛应用于计算机视觉技术、语音识别技术、自然语言处理技术、深度学习、大数据处理技术等领域。
[0003]基于人工智能的图像检测技术也已经广泛应用于不同场景。其中，基于人工智能的目标检测技术，用于确定图像中的物体边界框和物体类别。如何提高目标检测性能十分重要。

技术实现思路

[0004]本公开提供了一种目标检测模型训练方法、目标检测方法、装置和电子设备。
[0005]根据本公开的一方面，提供了一种目标检测模型训练方法，包括：
[0006]在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；
[0007]在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；
[0008]根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。
[0009]根据本公开的另一方面，提供了一种目标检测方法，包括：
[0010]获取待检测的目标图像；
[0011]将所述目标图像输入目标检测模型得到检测结果；所述目标检测模型为采用本公开任意实施例公开的目标检测模型训练方法所训练得到的学生模型。
[0012]根据本公开的又一方面，提供了一种目标检测模型训练装置，包括：
[0013]教师预测模块，用于在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；
[0014]学生预测模块，用于在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查
询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；
[0015]模型训练模块，用于根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。
[0016]根据本公开的又一方面，提供了一种目标检测装置，包括：
[0017]目标图像模块，用于获取待检测的目标图像；
[0018]目标图像检测模块，用于将所述目标图像输入目标检测模型得到检测结果；所述目标检测模型为采用本公开任意实施例公开的目标检测模型训练方法所训练得到的学生模型。
[0019]根据本公开的另一方面，提供了一种电子设备，该电子设备包括：
[0020]至少一个处理器；以及
[0021]与所述至少一个处理器通信连接的存储器；其中，
[0022]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任意实施例所提供的方法。
[0023]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任意实施例所提供的方法。
[0024]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0025]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0026]图1a是根据本公开实施例提供的一种目标检测模型训练方法的流程图；
[0027]图1b是根据本公开实施例提供的一种目标检测模型的结构示意图；
[0028]图2a是根据本公开实施例提供的另一种目标检测模型训练方法的流程图；
[0029]图2b是根据本公开实施例提供的另一种目标检测模型的结构示意图；
[0030]图3是根据本公开实施例提供的又一种目标检测模型训练方法的流程图；
[0031]图4a是根据本公开实施例提供的又一种目标检测模型训练方法的流程图；
[0032]图4b是根据本公开实施例提供的又一种目标检测模型的结构示意图；
[0033]图5a是根据本公开实施例提供的又一种目标检测模型训练方法的流程图；
[0034]图5b是根据本公开实施例提供的又一种目标检测模型的结构示意图；
[0035]图6是根据本公开实施例提供的又一种目标检测方法的流程图；
[0036]图7是根据本公开实施例提供的一种目标检测模型训练装置的结构示意图；
[0037]图8是根据本公开实施例提供的一种目标检测装置的结构示意图；
[0038]图9是用来实现本公开实施例的目标检测模型训练方法或目标检测方法的电子设备的框图。
具体实施方式
[0039]图1a是根据本公开实施例提供的一种目标检测模型训练方法的流程图。该方法适用于对目标检测模型进行训练的情况。该方法可以由目标检测模型训练装置来执行，该装
置可以采用软件和/或硬件的方式实现，并可集成于电子设备中。如图1a所示，本实施例的目标检测模型训练方法可以包括：
[0040]S101，在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；
[0041]S102，在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；
[0042]S103，根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。
[0043]本公开实施例通过基于DETR(Detection Transformer，检测变换器)的蒸馏技术实现了对目标检测模型的训练。图1b是根据本公开实施例提供的一种目标检测模型的结构示意图，参考图1b，教师模型和学生模型均采用DETR网络，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测模型训练方法，包括：在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；在学生模型中，将所述样本图像输入图像特征提取网络得到学生图像特征，并将所述学生图像特征输入编码器得到学生序列特征；将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，并根据所述增强学生查询向量进行预测得到学生预测信息；根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练。2.根据权利要求1所述的方法，其中，所述将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，包括：将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；所述方法还包括：根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。3.根据权利要求1所述的方法，其中，所述将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量，包括：生成随机数；在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；将可学习的学生查询向量输入解码器中的自注意力层得到学生自注意力特征，且将所述学生自注意力特征和经替换的学生序列特征输入解码器中的交叉注意力层得到增强学生查询向量。4.根据权利要求1所述的方法，其中，所述根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练，包括：根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失，并根据所述学生预测信息和所述样本图像的真值信息构建第一学生损失；采用所述第一蒸馏损失和所述第一教师损失，对所述教师查询向量进行训练；采用所述第一蒸馏损失和所述第一学生损失，对所述学生模型进行训练。5.根据权利要求2所述的方法，其中，所述根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练，包括：根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失；根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失；
采用所述第一蒸馏损失和所述第一教师损失，对教师模型中的交叉注意力层进行训练。6.根据权利要求1所述的方法，所述方法还包括：对学生模型中的解码器进行复制，作为中间解码器；将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量，并根据所述增强中间查询向量进行预测得到中间预测信息；所述根据所述教师预测信息、所述学生预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述学生模型进行训练，包括：根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述中间解码器和所述学生模型中进行训练。7.根据权利要求6所述的方法，其中，所述根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息，对所述教师查询向量进行训练，并对所述中间解码器和所述学生模型中进行训练，包括：根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失，并根据所述学生预测信息和所述样本图像的真值信息确定第二学生损失；根据所述第二蒸馏损失和所述第二教师损失，对所述教师查询向量进行训练；根据所述第二蒸馏损失，对所述中间解码器进行训练；根据所述第二学生损失，对所述学生模型进行训练。8.根据权利要求6所述的方法，其中，所述将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，包括：将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征，且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量；所述方法还包括：根据所述教师预测信息、所述中间预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练。9.根据权利要求8所述的方法，其中，所述根据所述教师预测信息、所述中间预测信息和样本图像的真值信息，对教师模型中的交叉注意力层进行训练，包括：根据所述教师预测信息和所述中间预测信息确定第二蒸馏损失；根据所述教师预测信息和所述样本图像的真值信息确定第二教师损失；根据所述第二蒸馏损失和所述第二教师损失，对教师模型中的交叉注意力层进行训练。10.根据权利要求6所述的方法，其中，所述将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量，包括：生成随机数；在所述随机数大于数量阈值的情况下，采用所述教师序列特征替换所述学生序列特征，得到经替换的学生序列特征；将可学习的中间查询向量输入中间解码器中的自注意力层得到中间自注意力特征，且
将所述中间自注意力特征和经替换的学生序列特征输入中间解码器中的交叉注意力层得到增强中间查询向量。11.一种目标检测方法，包括：获取待检测的目标图像；将所述目标图像输入目标检测模型得到检测结果；所述目标检测模型为采用如权利要求1
‑
10中任一项所述的方法训练得到的学生模型。12.一种目标检测模型训练装置，包括：教师预测模块，用于在教师模型中，将样本图像输入图像特征提取网络得到教师图像特征，并将所述教师图像特征输入编码器得到教师序列特征；将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量，并根据所述增强教师查询向量进行预测得到教师预测信息；学生预...

【专利技术属性】
技术研发人员：杨馥魁，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：