目标检测网络训练及目标检测方法、装置、电子设备制造方法及图纸

本公开提供了目标检测网络训练及目标检测方法、装置、电子设备，该训练方法为：将训练图像集中各训练图像输入第一神经网络，获得各训练图像的第一特征图信息，根据所述第一特征图信息，通过提取模块，获得所述各训练图像的第一目标检测信息；将所述各训练图像输入第二神经网络，获得所述各训练图像的第二特征图信息，根据所述第二特征图信息和所述第一特征图信息，通过所述提取模块，获得所述各训练图像的第二目标检测信息；根据所述各训练图像的所述第二目标检测信息和所述第一目标检测信息，训练所述第二神经网络，在满足预设条件的情况下，获得目标检测网络，实现一种通用的知识蒸馏。馏。馏。

【技术实现步骤摘要】
目标检测网络训练及目标检测方法、装置、电子设备


[0001]本公开涉及计算机
，具体而言，涉及目标检测网络训练及目标检测方法、装置、电子设备。

技术介绍

[0002]目标检测是找出图像中感兴趣的目标或物体，是计算机视觉中的重要问题，在实际部署时，由于不同硬件设备的算力限制，可以使用知识蒸馏算法，对神经网络进行压缩，例如，使用大神经网络训练小神经网络，但是相关技术中，知识蒸馏算法通常仅针对同构网络进行，要求大神经网络和小神经网络的检测器相同并且骨架网络结构相同，降低了知识蒸馏算法应用的灵活性和适用场景。

技术实现思路

[0003]本公开实施例至少提供目标检测网络训练及目标检测方法、装置、电子设备。
[0004]第一方面，本公开实施例提供了一种目标检测网络训练方法，包括：
[0005]获取训练图像集，其中，所述训练图像集中包括各训练图像；
[0006]将所述各训练图像输入第一神经网络，获得所述各训练图像的第一特征图信息，根据所述第一特征图信息，通过提取模块，获得所述各训练图像的第一目标检测信息，其中，所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测网络训练方法，其特征在于，包括：获取训练图像集，其中，所述训练图像集中包括各训练图像；将所述各训练图像输入第一神经网络，获得所述各训练图像的第一特征图信息，根据所述第一特征图信息，通过提取模块，获得所述各训练图像的第一目标检测信息，其中，所述提取模块是基于所述第一神经网络训练而获得的；将所述各训练图像输入第二神经网络，获得所述各训练图像的第二特征图信息，根据所述第二特征图信息和所述第一特征图信息，通过所述提取模块，获得所述各训练图像的第二目标检测信息；根据所述各训练图像的所述第二目标检测信息和所述第一目标检测信息，训练所述第二神经网络，在满足预设条件的情况下，获得目标检测网络。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一特征图信息，通过提取模块，获得所述各训练图像的第一目标检测信息，包括：根据所述提取模块中目标初始向量和所述第一特征图信息，通过所述提取模块的第一目标交叉注意力层，获得查询向量；根据所述查询向量和所述第一特征图信息，通过所述提取模块的第二目标交叉注意力层，获得所述第一目标检测信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述第二特征图信息和所述第一特征图信息，通过所述提取模块，获得所述各训练图像的第二目标检测信息，包括：根据所述提取模块中目标初始向量和所述第一特征图信息，通过所述提取模块的第一目标交叉注意力层，获得查询向量；根据所述查询向量和所述第二特征图信息，通过所述提取模块的第二目标交叉注意力层，获得所述第二目标检测信息。4.根据权利要求1
‑
3任一项所述的方法，其特征在于，所述第一目标检测信息包括第一目标内容信息和第一目标位置信息，所述第二目标检测信息包括第二目标内容信息和第二目标位置信息；所述提取模块包括第一网络分支和第二网络分支，所述第一网络分支用于提取所述第一目标内容信息或所述第二目标内容信息，所述第一网络分支的网络结构至少包括第一交叉注意力层和第二交叉注意力层；并且所述第二网络分支用于提取所述第一目标位置信息或第二目标位置信息，所述第二网络分支的网络结构至少包括第三交叉注意力层和第四交叉注意力层。5.根据权利要求4所述的方法，其特征在于，所述满足预设条件，包括：迭代训练次数达到阈值，或者目标损失函数满足收敛条件；其中，所述目标损失函数至少包括第一损失函数和第二损失函数的加权和，所述第一损失函数表示所述第一目标内容信息和所述第二目标内容信息之间的损失函数，所述第二损失函数表示所述第一目标位置信息和所述第二目标位置信息之间的损失函数。6.根据权利要求4所述的方法，其特征在于，所述根据所述第一特征图信息，通过提取模块，获得所述各训练图像的第一目标检测信息，包括：将所述第一特征图信息输入所述第一网络分支，根据所述第一网络分支中第一初始向量和所述第一特征图信息，通过所述第一交叉注意力层，获得第一查询向量，并根据所述第
一查询向量和所述第一特征图信息，通过所述第二交叉注意力层，获得所述第一目标内容信息；将所述第一特征图信息输入所述第二网络分支，根据所述第二网络分支中第二初始向量和所述第一特征图信息，通过所述第三交叉注意力层，获得第二查询向量，并根据所述第二查询向量和所述第一特征图信息，通过所述第四交叉注意力层，获得所述第一目标位置信息，其中，所述第二初始向量与所述各训练图像中目标候选框的位置相关。7.根据权利要求4所述的方法，其特征在于，所述根据所述第二特征图信息和所述第一特征图信息，通过所述提取模块，获得所述各训练图像的第二目标检测信息，包括：将所述第一特征图信息和所述第二特征图信息输入所述第一网络分支，根据所述第一网络分支中第一初始向量和所述第一特征图信息，通过所述第一交叉注意力层，获得第一查询向量，并根据所述第一查询向量和所述第二特征图信息，通过所述...

【专利技术属性】
技术研发人员：梁健铭，刘博晓，宋广录，刘宇，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：