一种基于两分支骨干网络的小样本目标检测方法技术

本发明专利技术属于计算机视觉领域，具体涉及一种基于两分支骨干网络的小样本目标检测方法、系统、装置，旨在解决现有两阶段微调的方法中特征提取骨干网络难以较好地提取新类目标的特征，从而影响小样本目标检测性能的问题。本方法包括：获取待检测场景的图像，作为第一图像；提取所述第一图像的卷积特征，并构建特征金字塔，作为所述第一图像对应的第二特征金字塔；将所述第一图像对应的第二特征金字塔输入训练好的基于两分支骨干网络的小样本目标检测网络中的定位分类网络，获取目标检测结果，实现小样本目标检测。本发明专利技术可以有效地提取新类目标的特征，从而提升小样本目标检测性能，为小样本目标物体的检测提供技术支持。小样本目标物体的检测提供技术支持。小样本目标物体的检测提供技术支持。

【技术实现步骤摘要】
一种基于两分支骨干网络的小样本目标检测方法


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于两分支骨干网络的小样本目标检测方法、系统、装置。

技术介绍

[0002]随着卷积神经网络的快速发展，目标检测取得了丰硕的成果。通过大量带标注的数据，取得了显著的性能。然而，在人机交互、机器人应用等场景中，一些情况下收集足够多的训练样本较为困难，此时，如何借助少量标注样本实现对目标的检测(即小样本目标检测)，成为重要的研究热点。
[0003]为了实现小样本目标检测，国内外研究人员开展了深入研究，其中两阶段微调的方法受到关注，通常由特征提取骨干网络和定位分类网络组成。代表性的方法包括TFA(Two
‑
stage Fine
‑
tuning Approach)，TFA方法的特征提取骨干网络为五阶段ResNet101骨干网络，TFA方法的定位分类网络包括FPN(Feature Pyramid Network)特征融合层、RPN(Region Proposal Network)候选框生成网络、候选框分类和候选框回归网络。该类方法训练时首先在COCO、ImageNet等大规模数据集上进行整体网络训练，然后保持特征提取骨干网络的冻结，利用少量带标注的新类样本来微调网络其余部分的参数，从而实现对新类目标的检测。由于特征提取骨干网络作用是提取输入图像的图像特征，其在新类样本微调网络前已被冻结的处理方式会使得新类目标的特征难以被较好地提取，从而导致新类目标检测性能的下降。如何更好地提取新类目标的特征，提升小样本目标检测的性能仍有待进一步研究。

技术实现思路

[0004]为了解决现有技术中的上述问题，即为了解决现有两阶段微调的方法中特征提取骨干网络难以较好地提取新类目标的特征，从而影响小样本目标检测性能的问题，本专利技术提供了一种基于两分支骨干网络的小样本目标检测方法，包括：
[0005]步骤S10，通过视觉传感器获取待检测场景的图像，作为第一图像；
[0006]步骤S20，利用训练好的基于两分支骨干网络的小样本目标检测网络中的两分支骨干网络提取所述第一图像的卷积特征，并构建特征金字塔，作为所述第一图像对应的第二特征金字塔；
[0007]步骤S30，将所述第一图像对应的第二特征金字塔输入训练好的基于两分支骨干网络的小样本目标检测网络中的定位分类网络，获取目标检测结果，实现小样本目标检测。
[0008]在一些优选的实施方式中，所述基于两分支骨干网络的小样本目标检测网络包括两分支骨干网络和定位分类网络；
[0009]所述两分支骨干网络包括五阶段ResNet101骨干网络、一个平行于所述五阶段ResNet101骨干网络的三阶段分支和双分支特征融合单元；其中三阶段分支的网络结构与所述五阶段ResNet101骨干网络的后三个阶段保持一致，双分支特征融合单元由三个并行
的1
×
1的卷积层构成；
[0010]所述定位分类网络包括FPN特征融合层、RPN候选框生成网络、候选框分类和候选框回归网络。
[0011]在一些优选的实施方式中，所述基于两分支骨干网络的小样本目标检测网络的训练方法为：
[0012]将COCO数据集的训练集中的每一张图像输入所述两分支骨干网络中的五阶段ResNet101骨干网络，获取所述五阶段ResNet101骨干网络中的第二阶段、第三阶段、第四阶段和第五阶段的输出，分别记为第一卷积特征、第二卷积特征、第三卷积特征和第四卷积特征；
[0013]将所述第一卷积特征输入所述三阶段分支中，获取其三个阶段的输出，分别记为第五卷积特征、第六卷积特征和第七卷积特征；
[0014]若p＜p
s
，则将所述第二卷积特征、所述第三卷积特征和所述第四卷积特征中的各个元素置零；若p≥p
s
，则将所述第五卷积特征、所述第六卷积特征和所述第七卷积特征中的各个元素置零；p为0到1内均匀随机采样的一个随机数；p
s
为预设常数；
[0015]将所述第二卷积特征和所述第五卷积特征沿着通道维度进行拼接，并利用双分支特征融合单元的第一卷积层将其通道数降为原先的一半，得到第八卷积特征；
[0016]将所述第三卷积特征和所述第六卷积特征沿着通道维度进行拼接，并利用双分支特征融合单元的第二卷积层将其通道数降为原先的一半，得到第九卷积特征；
[0017]将所述第四卷积特征和所述第七卷积特征沿着通道维度进行拼接，并利用双分支特征融合单元的第三卷积层将其通道数降为原先的一半，得到第十卷积特征；
[0018]将所述第一卷积特征、所述第八卷积特征、所述第九卷积特征和所述第十卷积特征构成第一特征金字塔；
[0019]将所述第一特征金字塔输入所述定位分类网络中，预测得到输入图像所包含物体的边界框及其对应的类别；
[0020]结合输入图像的真值标签，计算损失值，进行所述基于两分支骨干网络的小样本目标检测网络训练，训练过程中三阶段分支的权重保持冻结；三阶段分支的权重直接来自于五阶段ResNet101骨干网络在ImageNet数据集上预训练后的结果；
[0021]基于两分支骨干网络的小样本目标检测网络在COCO数据集的训练集上训练完成后，还结合事先构建的针对新类目标的小样本数据集进一步训练，最后得到训练好的基于两分支骨干网络的小样本目标检测网络；其中，在进一步训练过程中，五阶段ResNet101骨干网络、三阶段分支、双分支特征融合单元、定位分类网络中的FPN特征融合层的参数保持冻结；小样本数据集包含每一类新类目标的30张图像及其对应的真值标签，其图像和真值标签的格式分别与COCO数据集中的图像格式和真值标签格式保持一致。
[0022]在一些优选的实施方式中，利用训练好的基于两分支骨干网络的小样本目标检测网络中的两分支骨干网络提取所述第一图像的卷积特征，并构建特征金字塔，作为所述第一图像对应的第二特征金字塔，其方法为：
[0023]将所述第一图像输入训练好的小样本目标检测网络中的两分支骨干网络，获取所述第一图像对应的第一卷积特征、第二卷积特征、第三卷积特征、第四卷积特征、第五卷积特征、第六卷积特征和第七卷积特征；
[0024]将所述第二卷积特征和所述第五卷积特征分别乘以系数p和1
‑
p
s
之后沿着通道维度进行拼接，并利用训练好的双分支特征融合单元的第一卷积层将其通道数降为原先一半，得到第十一卷积特征；
[0025]将所述第三卷积特征和所述第六卷积特征分别乘以系数p和1
‑
p
s
之后沿着通道维度拼接，并利用训练好的双分支特征融合单元的第二卷积层将其通道数降为原先一半，得到第十二卷积特征；
[0026]将所述第四卷积特征和所述第七卷积特征分别乘以系数p和1
‑
p
s
之后沿着通道维度拼接，并利用训练好的双分支特征融合单元的第三卷积层本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于两分支骨干网络的小样本目标检测方法，其特征在于，该方法包括以下步骤：步骤S10，通过视觉传感器获取待检测场景的图像，作为第一图像；步骤S20，利用训练好的基于两分支骨干网络的小样本目标检测网络中的两分支骨干网络提取所述第一图像的卷积特征，并构建特征金字塔，作为所述第一图像对应的第二特征金字塔；步骤S30，将所述第一图像对应的第二特征金字塔输入训练好的基于两分支骨干网络的小样本目标检测网络中的定位分类网络，获取目标检测结果，实现小样本目标检测。2.根据权利要求1所述的基于两分支骨干网络的小样本目标检测方法，其特征在于，所述基于两分支骨干网络的小样本目标检测网络包括两分支骨干网络和定位分类网络；所述两分支骨干网络包括五阶段ResNet101骨干网络、一个平行于所述五阶段ResNet101骨干网络的三阶段分支和双分支特征融合单元；其中三阶段分支的网络结构与所述五阶段ResNet101骨干网络的后三个阶段保持一致，双分支特征融合单元由三个并行的1
×
1的卷积层构成；所述定位分类网络包括FPN特征融合层、RPN候选框生成网络、候选框分类和候选框回归网络。3.根据权利要求2所述的基于两分支骨干网络的小样本目标检测方法，其特征在于，所述基于两分支骨干网络的小样本目标检测网络的训练方法为：将COCO数据集的训练集中的每一张图像输入所述两分支骨干网络中的五阶段ResNet101骨干网络，获取所述五阶段ResNet101骨干网络中的第二阶段、第三阶段、第四阶段和第五阶段的输出，分别记为第一卷积特征、第二卷积特征、第三卷积特征和第四卷积特征；将所述第一卷积特征输入所述三阶段分支中，获取其三个阶段的输出，分别记为第五卷积特征、第六卷积特征和第七卷积特征；若p＜p
s
，则将所述第二卷积特征、所述第三卷积特征和所述第四卷积特征中的各个元素置零；若p≥p
s
，则将所述第五卷积特征、所述第六卷积特征和所述第七卷积特征中的各个元素置零；p为0到1内均匀随机采样的一个随机数；p
s
为预设常数；将所述第二卷积特征和所述第五卷积特征沿着通道维度进行拼接，并利用双分支特征融合单元的第一卷积层将其通道数降为原先的一半，得到第八卷积特征；将所述第三卷积特征和所述第六卷积特征沿着通道维度进行拼接，并利用双分支特征融合单元的第二卷积层将其通道数降为原先的一半，得到第九卷积特征；将所述第四卷积特征和所述第七卷积特征沿着通道维度进行拼接，并利用双分支特征融合单元的第三卷积层将其通道数降为原先的一半，得到第十卷积特征；将所述第一卷积特征、所述第八卷积特征、所述第九卷积特征和所述第十卷积特征构成第一特征金字塔；将所述第一特征金字塔输入所述定位分类网络中，预测得到输入图像所包含物体的边界框及其对应的类别；结合输入图像的真值标签，计算损失值，进行所述基于两分支骨干网络的小样本目标检测网络训练，训练过程中三阶段分支的权重保持冻结；三阶段分支的权重直接来自于五
阶段ResNet101骨干网络在ImageNet数据集上预训练后的结果；基于两分支骨干网络的小样本目标检测网络在COCO数据集的训练集上训练完成后，还结合事先构建的针对新类目标的小样本数据集进一步训练，最后得到训练好的基于两分支骨干网络的小样本目标检测网络；其中，在进一步训练过程中，五阶段ResNet101骨干网络、三阶段分支、双分支特征融合单元、定位分类网络中的FP...

【专利技术属性】
技术研发人员：李忠辉，曹志强，刘洁锐，刘希龙，谭民，亢晋立，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：