目标检测模型的训练方法、检测方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开一种目标检测模型的训练方法、检测方法、装置、设备及介质，其中，训练方法包括：利用辅助卷积特征图分别对基础卷积特征图和基础全连接特征图进行特征融合，得到融合后的卷积特征图和融合后的全连接特征图；将融合后的卷积特征图、融合后的全连接特征图，以及特征尺度依次递减的多个辅助卷积特征图输入目标检测模型的分类回归层，得到样本图像中不同尺度的目标对象的预测类别和预测位置；利用样本图像中所述目标对象的标注类别和预测类别之间的关系，标注位置和预测位置之间的关系，对目标检测模型进行训练，通过采用上述技术方案，有效提升了多尺度目标检测的检出效果。效果。效果。

【技术实现步骤摘要】
目标检测模型的训练方法、检测方法、装置、设备及介质


[0001]本专利技术实施例涉及目标检测
，具体而言，涉及一种目标检测模型的训练方法、检测方法、装置、设备及介质。

技术介绍

[0002]目标检测是计算机视觉领域重要的研究方向之一，它主要是通过计算分析定位感兴趣目标，得出每个目标在图像中的类别信息和位置信息，目标检测在自动驾驶，医学影像和安防监控方面等多个领域具有十分重要的应用价值。
[0003]传统的目标检测算法通常根据具体任务设计人工特征，然后在滑动窗口上提取图像特征，最后基于这些特征训练分类器，并通过这个分类器来判断滑窗区域是否为目标。但是传统的人工特征很难适应目标的尺度、形态以及外界光照的变化，同时如果外界场景过于复杂，人工特征很难提取有用的信息，该方法计算量大，而且时间复杂度高，没有很好的鲁棒性，很难适应多类目标检测，这导致传统的目标检测技术很难满足目前的目标检测任务需求。
[0004]随着深度学习技术的不断发展，基于卷积神经网络的目标检测算法相比于传统的方法能带来很大的提升。该方法利用卷积神经网络从大量数据集中自动学习如何提取有效的特征。与人工特征相比，基于深度学习的目标检测技术能学习到质量更好，更具有鲁棒性的特征，该方法能够将特征提取与特征分类融合在同一个网络模型当中，并通过误差反向传播来进行优化。因此，基于深度学习的目标检测算法逐渐成为计算机视觉领域的研究热点方向。但是，该技术方法在面对多尺度目标、背景复杂等场景依然有改进的空间。如何设计网络模型来提取更加完备的特征，如何改进多尺度目标检测的检测效果等这些问题还亟待解决。

技术实现思路

[0005]本专利技术实施例提供一种目标检测模型的训练方法、检测方法、装置、设备及介质，有效提升了多尺度目标检测的检出效果。
[0006]第一方面，本专利技术实施提供了一种目标检测模型的训练方法，该方法包括：
[0007]对样本图像进行特征提取，得到基础卷积特征图和基础全连接特征图；
[0008]利用辅助卷积特征图分别对基础卷积特征图和基础全连接特征图进行特征融合，得到融合后的卷积特征图和融合后的全连接特征图；其中，融合后的卷积特征图的特征尺度与所述基础卷积特征图的特征尺度相同；融合后的全连接特征图的特征尺度与所述基础全连接特征图的特征尺度相同；其中，所述基础全连接特征图的特征尺度小于所述基础卷积特征图的特征尺度，且大于所述辅助卷积特征图的特征尺度；
[0009]将所述融合后的卷积特征图、所述融合后的全连接特征图，以及特征尺度依次递减的多个辅助卷积特征图输入目标检测模型的分类回归层，得到样本图像中不同尺度的目标对象的预测类别和预测位置；
[0010]利用样本图像中所述目标对象的标注类别和预测类别之间的关系，标注位置和预测位置之间的关系，对所述目标检测模型进行训练，使得训练完成的多尺度目标检测模型建立不同尺度、不同类别的目标对象与其在图像中的位置信息之间的关联关系。
[0011]可选的，所述利用辅助卷积特征图分别对基础卷积特征图和基础全连接特征图进行特征融合，包括：
[0012]基于双线性差值方法，分别对所述辅助卷积特征图和所述基础全连接特征图进行上采样，得到第一辅助卷积特征图和上采样后的基础全连接特征图；其中，所述第一辅助卷积特征图和上采样后的基础全连接特征图与所述基础卷积特征图特征尺度相同；
[0013]将所述第一辅助卷积特征图、所述上采样后的基础全连接特征图，与基础卷积特征图进行拼接，并对拼接后的卷积特征图进行通道数调整，得到与所述基础卷积特征图特征尺度相同的融合后的卷积特征图；
[0014]基于双线性差值方法，对所述辅助卷积特征图进行上次样，得到第二辅助卷积特征图；所述第二辅助卷积特征图与所述基础全连接特征图特征尺度相同；
[0015]将所述第二辅助卷积特征图和所述基础全连接特征图进行拼接，得到特征融合后的全连接特征图。
[0016]可选的，所述目标检测模型还包括预测单元，与所述分类回归层连接，所述预测单元具体通过如下方式来实现：
[0017]对于将所述融合后的卷积特征图、所述融合后的全连接特征图，以及特征尺度依次递减的多个辅助卷积中的任意一个特征图，对该特征图先后经过1
×1×
256和1
×1×
512的卷积核得到第一特征图，并从该特征提取出输出的特征序列经过1
×1×
512的残差边得到第二特征图；
[0018]通过将第一特征图和第二特征图中的对应的特征信息相加，得到特征增强后的增强特征图；
[0019]相应的，将所述增强特征图输入目标检测模型的分类回归层，得到样本图像中不同尺度的目标对象的预测类别和预测位置。
[0020]可选的，所述基础卷积图对应的特征尺度为38
×
38；所述基础全连接图对应的特征尺度为19
×
19；所述多个辅助卷积图对应的特征尺度分别为10
×
10、5
×
5、3
×
3和1
×
1。
[0021]第二方面，本专利技术实施例还提供了一种目标检测方法，包括：
[0022]获取原始图像数据；
[0023]基于训练完成的目标检测模型，对所述原始图像数据进行识别，得到原始图像中的不同尺度、不同类别的目标对象的类别信息和位置信息；
[0024]其中，所述目标检测模型采用本专利技术任意实施例所提供的目标检测模型的训练方法进行训练。
[0025]第三方面，本专利技术实施例还提供了一种目标检测模型的训练装置，该装置包括：
[0026]特征提取模块，被配置为对样本图像进行特征提取，得到基础卷积特征图和基础全连接特征图；
[0027]特征融合模块，被配置为利用辅助卷积特征图分别对基础卷积特征图和基础全连接特征图进行特征融合，得到融合后的卷积特征图和融合后的全连接特征图；其中，融合后的卷积特征图的特征尺度与所述基础卷积特征图的特征尺度相同；融合后的全连接特征图
的特征尺度与所述基础全连接特征图的特征尺度相同；其中，所述基础全连接特征图的特征尺度小于所述基础卷积特征图的特征尺度，且大于所述辅助卷积特征图的特征尺度；
[0028]特征增强模块，被配置为将所述融合后的卷积特征图、所述融合后的全连接特征图，以及特征尺度依次递减的多个辅助卷积特征图输入目标检测模型的分类回归层，得到样本图像中不同尺度的目标对象的预测类别和预测位置；
[0029]模型训练模块，被配置为利用样本图像中所述目标对象的标注类别和预测类别之间的关系，标注位置和预测位置之间的关系，对所述目标检测模型进行训练，使得训练完成的多尺度目标检测模型建立不同尺度、不同类别的目标对象与其在图像中的位置信息之间的关联关系。
[0030]可选的，所述特征融合模块，具体被配置为：
[0031]基于双线性差值方法，分别对所述辅助卷积特征图和所述基础全连接特征图进行上采样，得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标检测模型的训练方法，其特征在于，包括：对样本图像进行特征提取，得到基础卷积特征图和基础全连接特征图；利用辅助卷积特征图分别对基础卷积特征图和基础全连接特征图进行特征融合，得到融合后的卷积特征图和融合后的全连接特征图；其中，融合后的卷积特征图的特征尺度与所述基础卷积特征图的特征尺度相同；融合后的全连接特征图的特征尺度与所述基础全连接特征图的特征尺度相同；其中，所述基础全连接特征图的特征尺度小于所述基础卷积特征图的特征尺度，且大于所述辅助卷积特征图的特征尺度；将所述融合后的卷积特征图、所述融合后的全连接特征图，以及特征尺度依次递减的多个辅助卷积特征图输入目标检测模型的分类回归层，得到样本图像中不同尺度的目标对象的预测类别和预测位置；利用样本图像中所述目标对象的标注类别和预测类别之间的关系，标注位置和预测位置之间的关系，对所述目标检测模型进行训练，使得训练完成的多尺度目标检测模型建立不同尺度、不同类别的目标对象与其在图像中的位置信息之间的关联关系。2.根据权利要求1所述的方法，其特征在于，所述利用辅助卷积特征图分别对基础卷积特征图和基础全连接特征图进行特征融合，包括：基于双线性差值方法，分别对所述辅助卷积特征图和所述基础全连接特征图进行上采样，得到第一辅助卷积特征图和上采样后的基础全连接特征图；其中，所述第一辅助卷积特征图和上采样后的基础全连接特征图与所述基础卷积特征图特征尺度相同；将所述第一辅助卷积特征图、所述上采样后的基础全连接特征图，与基础卷积特征图进行拼接，并对拼接后的卷积特征图进行通道数调整，得到与所述基础卷积特征图特征尺度相同的融合后的卷积特征图；基于双线性差值方法，对所述辅助卷积特征图进行上次样，得到第二辅助卷积特征图；所述第二辅助卷积特征图与所述基础全连接特征图特征尺度相同；将所述第二辅助卷积特征图和所述基础全连接特征图进行拼接，得到特征融合后的全连接特征图。3.根据权利要求1所述的方法，其特征在于，所述目标检测模型还包括预测单元，与所述分类回归层连接，所述预测单元具体通过如下方式来实现：对于将所述融合后的卷积特征图、所述融合后的全连接特征图，以及特征尺度依次递减的多个辅助卷积中的任意一个特征图，对该特征图先后经过1
×1×
256和1
×1×
512的卷积核得到第一特征图，并从该特征提取出输出的特征序列经过1
×1×
512的残差边得到第二特征图；通过将第一特征图和第二特征图中的对应的特征信息相加，得到特征增强后的增强特征图；相应的，将所述增强特征图输入目标检测模型的分类回归层，得到样本图像中不同尺度的目标对象的预测类别和预测位置。4.一种目标检测方法，其特征在于，包括：获取原始...

【专利技术属性】
技术研发人员：张英，杨一帆，
申请(专利权)人：北京航科威视光电信息技术有限公司，
类型：发明
国别省市：