一种侧重于分类任务的单样本目标检测方法技术

本发明专利技术公开了一种侧重于分类任务的单样本目标检测方法。单样本目标检测任务是检测出询问图像中与单个参考实例图像类别一致的所有实例。通过观察发现，单样本目标检测性能有限的一个主要原因是由于其分类能力较差而产生许多假正例导致的，本发明专利技术基于此观察，提出了一种侧重于分类任务的单样本目标检测方法，该方法在两个重要方面进行了改进：本发明专利技术提出使用相同交并比阈值的分类级联网络，通过比较多个邻近区域来提高分类的鲁棒性；本发明专利技术还提出对询问实例特征和参考实例特征进行分类区域变形的网络，以获得更有效的比较区域。本发明专利技术的方法相比于基准方法，在训练过的类别和未训练过的类别两个指标上的准确度均有显著提高。

【技术实现步骤摘要】
一种侧重于分类任务的单样本目标检测方法
本专利技术属于图像单样本目标检测
，具体是涉及一种侧重于分类任务的单样本目标检测方法。
技术介绍
近年来，基于卷积神经网络的目标检测方法取得了巨大的成功。但是，此成功依赖于由大量标注而成的大规模训练数据集，例如COCO数据集。通用的目标检测只能检测出训练集中标注过的物体类别，这使得通用目标检测方法难以扩展新的物体类别。一方面，执行大量的标注工作十分耗时，并且经常会出现错误的标注；另一方面，在某些特殊场景下很难收集大量的新类别图像。因此，当仅提供少量甚至一张实例图片示例时，模型依旧能够在询问图像中检测出和该实例类别一致的物体是有价值且必要的。之前的工作使用孪生网络结构来完成此任务，其中SiamMask通过在MaskR-CNN上添加比较匹配网络层来完成单样本实例分割，CoAE使用non-local和co-excitation来增强询问实例特征和参考实例特征之间的相关度。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出一种侧重于分类任务的单样本目标检测方法。通过预实验观察发现，与未在定位分支引入参考实例特征相比，当分类分支未引入参考实例特征时，会由于检测到更多的假正例而导致更明显的性能下降。上述观察激发本专利技术通过提高单样本目标检测网络的分类能力来降低假正例的数量，从而提高检测性能。本专利技术提出使用相同交并比阈值的分类级联网络，通过比较多个邻近区域来提高分类的鲁棒性；本专利技术还提出对询问实例特征和参考实例特征进行分类区域变形的网络，以获得更有效的比较区域。本专利技术的方法相比于基准方法，在训练过的类别和未训练过的类别两个指标上的准确度均有显著提高。在同一数据设定下，在PASCALVOC和COCO数据集中实现了顶尖的性能。本专利技术的目的是通过以下技术方案来实现的：一种侧重于分类任务的单样本目标检测方法，该方法包括如下步骤：步骤1：读取数据集中训练样本的询问图像和参考实例图像，并读取和参考实例图像类别一致的询问图像中实例的类别标签和坐标位置，对输入询问图像和参考实例图像进行保持比例的缩放，并填充到固定大小，构成训练集；步骤2：在基准SiameseFasterR-CNN网络的基础上加入分类区域变形网络以及分类级联网络，形成侧重于分类任务的单样本目标检测网络；利用步骤1得到的训练集对单样本目标检测网络进行训练；步骤3：读取测试样本的询问图像和参考实例图像，输入到步骤2中的训练好的单样本目标检测网络中，获得每个检测实例的两个分类置信度和坐标位置；步骤4：将步骤3中每个实例预测的两个分类置信度进行加权作为该实例的最终分类置信度；将每个实例的坐标位置和对应的最终分类置信度输入到非极大抑制算法中对重叠度高于阈值的检测框进行过滤，从而实现单样本目标检测。进一步地，所述步骤1中询问图像中的实例的类别标签设置方式为：把和参考实例图像类别一致的询问图像中的实例的类别标签设置为前景类，其余实例的类别标签设置为背景类。进一步地，所述步骤2中，基准SiameseFasterR-CNN网络是通过去掉SiamMask的语义分支后而生成的。进一步地，所述步骤2中图像处理步骤如下：步骤21：利用基准SiameseFasterR-CNN网络中共享权重的孪生ResNet网络提取询问图像和参考实例图像的特征图信息；步骤22：利用度量学习网络提取询问特征图和参考特征图之间的相似度特征信息；把相似度特征信息输入到区域提议网络中生成提议区域，作为可能的检测框位置；步骤23：在检测头中，重新计算每个提议区域的相似度特征信息，并将相似度特征信息输入到基准SiameseFasterR-CNN网络中的定位分支和分类级联网络构成的分类分支中。进一步地，所述步骤23中重新计算每个提议区域的相似度特征信息的流程如下：(1)将询问特征图中的提议区域作为询问实例特征，将参考特征图作为参考实例特征，将询问实例特征和参考实例特征输入到分类区域变形网络中进行分类区域变形，从而得到更有效的分类比较区域；(2)将经过变形的询问实例特征和参考实例特征输入到度量学习网络中获得更有效的相似度特征图。进一步地，所述步骤23中分类区域变形的处理方式是：其中QF表示询问实例特征，RF表示参考实例特征；pr和ph分别表示由区域提议网络和检测头预测的检测框的位置，r表示没有经过填充的参考实例的区域位置；是分类区域变形的函数；QFr和QFh分别表示经过分类区域变形后的用于分类级联网络两个阶段的询问实例特征，RFd表示经过分类区域变形后的参考实例特征；是RoI-Align操作；其中的公式形如：其中表示对pr中的每个网格进行循环，G(x,y)表示第(x,y)坐标的网格，p表示网格中每个像素的位置，nxy表示网格中的像素数量；γ是用来调制偏移量幅度的预定义标量；是获得偏移量的函数，它是一个三层全连接网络，三个输出层的通道为{C1，C2，NxNx2}；(w,h)是pr的宽度和高度；表示双线性插值函数。进一步地，所述步骤2中度量学习网络的表示方式是：其中⊙指的是串联操作，GAP是全局平均池化；Convs,表示核大小为s、输出通道为k的卷积层；MFr和MFh分别表示输入到分类级联网络两个阶段的特征，表示输入到定位分支的特征。进一步地，所述步骤23中将相似特征图信息输入到定位分支和分类分支的具体处理方式如下：(1)为了减少定位分支对分类分支的影响，将分类分支和定位分支共享权重的部分进行解耦，并且在分类分支中使用全连接层，在定位分支中使用卷积层；(2)把MFr和MFh输入到相同交并比阈值的分类级联网络中进行两次分类，把输入到定位分支中进行一次位置预测，公式表示为：其中和分别为第一阶段和第二阶段分类函数，它是三层全连接的网络，是定位函数；s1和s2分别表示第一阶段和第二阶段分类得分。进一步地，所述步骤2中训练采用的损失函数为：其中由和组成，分别使用smoothL1损失函数和二值化交叉熵函数；和是检测头中的损失函数，使用smoothL1损失函数，和均使用二值化交叉熵函数。综上所述，本专利技术提出的一种基于侧重于分类的单样本目标检测方法，通过对询问实例特征和参考实例特征进行分类区域变形，以及固定交并比阈值的分类级联头增强了单样本目标检测的分类能力，从而降低了检测到的假正例的数量，进一步提高了单样本目标检测的性能。本专利技术相比于现有技术具有以下优点：本专利技术通过预实验证明单样本目标检测网络性能欠佳的一个主要原因是由于检测到大量的假正例导致的，本专利技术旨在通过提高单样本目标检测网络的分类能力来解决假样本过多的问题，通过对询问实例特征和参考实例特征进行分类区域变形，以及使用相同交并比阈值的分类级联网络的方法，在训练过的类别和未训练过的类别两个指标上的准确度均有显著提高，且在同一数据设定下，在PASCALVO本文档来自技高网...

【技术保护点】
1.一种侧重于分类任务的单样本目标检测方法，其特征在于，该方法包括如下步骤：/n步骤1：读取数据集中训练样本的询问图像和参考实例图像，并读取和参考实例图像类别一致的询问图像中实例的类别标签和坐标位置，对输入询问图像和参考实例图像进行保持比例的缩放，并填充到固定大小，构成训练集；/n步骤2：在基准Siamese Faster R-CNN网络的基础上加入分类区域变形网络以及分类级联网络，形成侧重于分类任务的单样本目标检测网络；利用步骤1得到的训练集对单样本目标检测网络进行训练；/n步骤3：读取测试样本的询问图像和参考实例图像，输入到步骤2中的训练好的单样本目标检测网络中，获得每个检测实例的两个分类置信度和坐标位置；/n步骤4：将步骤3中每个实例预测的两个分类置信度进行加权作为该实例的最终分类置信度；将每个实例的坐标位置和对应的最终分类置信度输入到非极大抑制算法中对重叠度高于阈值的检测框进行过滤，从而实现单样本目标检测。/n

【技术特征摘要】
1.一种侧重于分类任务的单样本目标检测方法，其特征在于，该方法包括如下步骤：
步骤1：读取数据集中训练样本的询问图像和参考实例图像，并读取和参考实例图像类别一致的询问图像中实例的类别标签和坐标位置，对输入询问图像和参考实例图像进行保持比例的缩放，并填充到固定大小，构成训练集；
步骤2：在基准SiameseFasterR-CNN网络的基础上加入分类区域变形网络以及分类级联网络，形成侧重于分类任务的单样本目标检测网络；利用步骤1得到的训练集对单样本目标检测网络进行训练；
步骤3：读取测试样本的询问图像和参考实例图像，输入到步骤2中的训练好的单样本目标检测网络中，获得每个检测实例的两个分类置信度和坐标位置；
步骤4：将步骤3中每个实例预测的两个分类置信度进行加权作为该实例的最终分类置信度；将每个实例的坐标位置和对应的最终分类置信度输入到非极大抑制算法中对重叠度高于阈值的检测框进行过滤，从而实现单样本目标检测。


2.根据权利要求1所述的一种侧重于分类任务的单样本目标检测方法，其特征在于，所述步骤2中，基准SiameseFasterR-CNN网络是通过去掉SiamMask的语义分支后而生成的。


3.根据权利要求1所述的一种侧重于分类任务的单样本目标检测方法，其特征在于，所述步骤2中图像处理步骤如下：
步骤21：利用基准SiameseFasterR-CNN网络中共享权重的孪生ResNet网络提取询问图像和参考实例图像的特征图信息；
步骤22：利用度量学习网络提取询问特征图和参考特征图之间的相似度特征信息；把相似度特征信息输入到区域提议网络中生成提议区域，作为可能的检测框位置；
步骤23：在检测头中，重新计算每个提议区域的相似度特征信息，并将相似度特征信息输入到基准SiameseFasterR-CNN网络中的定位分支和分类级联网络构成的分类分支中。


4.根据权利要求3所述的一种侧重于分类任务的单样本目标检测方法，其特征在于，所述步骤23中重新计算每个提议区域的相似度特征信息的流程如下：
(1)将询问特征图中的提议区域作为询问实例特征，将参考特征图作为参考实例特征，将询问实例特征和参考实例特征输入到分类区域变形网络中进行分类区域变形，从而得到更有效的分类比较区域；
(2)将经过变形的询问实例特征和参考实例特征输入到度量学习网络中获得更有效的相似度特征图。


5.根据权利要求4所述的一种基于侧重于分类任务的单样本目标...

【专利技术属性】
技术研发人员：张宇，杨涵清，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33