一种基于注意力和对比学习的小样本目标检测方法技术

本发明专利技术涉及了一种基于注意力和对比学习的小样本目标检测方法，属于人工智能、图像处理领域。本发明专利技术为一种结合了数据增强、注意力区域建议网络(AttentionRPN)、对比学习的小样本目标检测方法。该方法基于FasterR

【技术实现步骤摘要】
一种基于注意力和对比学习的小样本目标检测方法


[0001]本专利技术涉及一种小样本目标检测的方法，具体设计了一种基于注意力和对比学习的小样本目标检测方法，属于人工智能、图像处理领域。

技术介绍

[0002]目标检测是在图片中同时检测出目标和标定目标位置，故目标检测的任务比图片分类要复杂，不仅涉及分类任务也涉及回归任务。由于数据样本一方面有长尾分布特征，另一方面有的样本获取困难，标注代价巨大。故目标检测也存在小样本问题，即在样本量丰富的基类样本训练后，再在样本量稀少的小样本新类上作微调训练，使模型能在新类上的检测性能堪比基类检测性能。由于目标检测比分类的任务更加复杂，故小样本目标检测不能单纯的从小样本分类任务移植现成的技术。
[0003]卷积神经网络(CNNs)的发展给一般目标检测带来了巨大的进步。深度学习目标检测器需要大量带注释的训练数据来提升其性能。在小样本学习场景中，目标检测器存在严重的过拟合，小样本目标检测与一般目标检测之间的差距比小样本图像分类中相应的差距更大。因此小样本目标检测的模型要比小样本图像分类要复杂得多。
[0004]对比学习与注意力网络逐渐被很多人用于提高模型性能。其中对比学习自监督模式的成功归功于人们对对比学习的重新研究。优化对比实例同时最大化相似实例(定义为正对)之间的一致性，并鼓励不同实例或负对之间的差异。通过对比学习，该网络学习构建不集中于像素级细节的表示，而是编码足以区分不同图像的高级特征。然而监督对比学习将批量对比方法扩展到监督训练中，但是它们用于图像分类中。通过将对比学习作一定的修改，迁移到小样本目标检测任务中，提高模型对实例级特征表示的能力。
[0005]马赛克数据增强方法在目标检测领域首次在YOLOV4中被提出，参考了CutMix数据增强。马赛克数据增强利用了四张图片，其优点是丰富检测物体的背景，且在一个批次计算的时候同时会计算四张图片的数据，使得训练批次大小不需要很大，那么少许GPU就可以达到比较好的效果。争对小样本新旧类的对比关系，将马赛克数据增强作一定得更改更适于小样本目标检测。
[0006]注意力方法在目标检测中被广泛应用，例如基于多头自注意力网络的DETR、基于元学习注意力的MetaR
‑
CNN、基于空间注意力的DAnA等。注意力不拘泥于特定形式或特定结构，本专利技术涉及的注意力本质上是通道乘法，通过注意力矩阵保存实例坐标偏移预测信息。
[0007]该专利技术的基线是Faster R
‑
CNN，它是经典的两阶段检测算法，被作者Ross B.Girshick在2016年提出。其优点是准确度高、定位能力较强，缺点是检测速度慢、参数较多。经过数年发展，在Faster R
‑
CNN基础上已发展出一系列的改进方法，其中小样本目标检测也是其主要发展方向。
[0008]小样本目标检测解决具有挑战性的少镜头目标检测(FSOD)问题有两条工作路线。一是基于元学习的注意力，例如Meta R
‑
CNN、FSRW和FSIW等；二是基于微调方法的TFA、MPSR等。
[0009]元学习方法实际上是一种注意力机制，基于支持集和查询集的注意力，但是没有充分地利用实例间地关系，注意力更注重不同实例间地差异性，对比学习能同时关注差异和共同。微调方法根据数据集不同，参数设置也很会不同，并不是一种端到端地自学习模型，虽然在经验上是可行的，但是并没有解决根本问题，即知识迁移时地遗忘。所以依据上述问题，针对性地提出本专利技术的方案。

技术实现思路

[0010]本专利技术的目的是针对上述已有技术存在的不足和缺陷，在少样本目标检测任务中，提供了基于注意力和对比学习小样本目标检测方法。
[0011]本专利技术采用的技术方案是：一种基于注意力和对比学习的小样本目标检测方法，小样本目标检测任务是指目标检测模型在少量样本训练后也能达到较好性能。该方法特征在于：基于小样本马赛克数据增强模块、基于坐标补偿注意力的区域提议网络、新旧类判别模块和对比学习模块。小样本马赛克数据增强模块丰富了实例背景和减少数据块尺寸，坐标补偿注意力的区域提议网络促使模型的区域提议网络关注前景实例，新旧类判别模块和对比学习模块增强实例特征表达和对比，增大新类和基类实例特征的表达区别，也增强从基类到新类的知识迁移。各模块具体构成如下：
[0012]小样本马赛克数据增强模块，包括样本选择策略、马赛克数据增强方法；
[0013]坐标补偿注意力区域提议网络，包括区域提议网络、回归坐标补偿注意力分支、坐标补偿损失；
[0014]新旧类判别模块，包括特征提取层、类别判别层；
[0015]对比学习模块，包括特征映射层、对比损失和联合训练策略；
[0016]方法的具体步骤如下：
[0017](1)小样本马赛克数据增强模块从基类和新类训练样本随机选取样本后生成训练样本；
[0018](2)FasterR
‑
CNN按照步骤(1)所产生的训练样本经过主干网络ResNet 101进行特征提取，后接特征金字塔网络产生主干输出特征：P2、P3、P4、P5、P6；
[0019](3)坐标补偿注意力区域提议网络以步骤(2)所产生的主干输出特征为输入，送入3x3卷积特征提取特征，接1x1卷积网络分别产出回归坐标预测和前景背景分类预测，同时也送入回归坐标补偿注意力分支生成回归坐标补偿，最终的坐标预测由前述的回归坐标预测与回归坐标补偿生成，再经过锚框生成器和后处理得到建议区域；
[0020](4)ROIPooling层根据步骤(3)生成的建议区域对步骤(2)生成的P2、P3、P4、P5、P6特征进行ROIPooling操作生成特征R；
[0021](5)步骤(4)所生成的特征R同时送入ROI特征提取模块ROIHead和新旧类判别模块Discriminator；
[0022](6)新旧类判别模块将特征R送入两层全连接层后生成关于新类与基类的二分类预测分数；
[0023](7)ROI特征提取模块有两层全连接层将特征R提取为1024维的特征F，同时送入框坐标回归头Regression、分类头Classification和对比学习头Contrastivelearning，其中回归头Regression和分类头Classification结果通过后处理生成最终检测结果。
[0024]具体地，小样本马赛克数据增强模块具体运行步骤包括：
[0025](2.1)按比例分别从基类样本集D
base
和新类样本集D
novel
中抽取样本；
[0026](2.2)每4张样本按新类与基类1：3的比例，分别采用不同的数据增强方法处理后以某一随机的尺寸裁剪后拼接为一张样本，目的是为了让稀有的新类样本充分地与基类样本混合在一起，一方面从图片级作数据增强，另一方面为后续实例级对比学习作铺垫；
[0027](2.3)反复重复步骤(2.2)生成批次大小的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力和对比学习的小样本目标检测方法，其特征在于：基于小样本马赛克数据增强模块、坐标补偿注意力区域提议网络、新旧类判别模块和对比学习模块，各模块具体构成如下：小样本马赛克数据增强模块，包括样本选择策略、马赛克数据增强方法；坐标补偿注意力区域提议网络，包括区域提议网络、回归坐标补偿注意力分支、坐标补偿损失；新旧类判别模块，包括特征提取层、类别判别层；对比学习模块，包括特征映射层、对比损失和联合训练策略；方法的具体步骤如下：(1)小样本马赛克数据增强模块从基类和新类训练样本随机选取样本后生成训练样本；(2)FasterR
‑
CNN按照步骤(1)所产生的训练样本经过主干网络ResNet 101进行特征提取，后接特征金字塔网络产生主干输出特征：P2、P3、P4、P5、P6；(3)坐标补偿注意力区域提议网络以步骤(2)所产生的主干输出特征为输入，送入3x3卷积特征提取特征，接1x1卷积网络分别产出回归坐标预测和前景背景分类预测，同时也送入回归坐标补偿注意力分支生成回归坐标补偿，最终的坐标预测由前述的回归坐标预测与回归坐标补偿生成，再经过锚框生成器和后处理得到建议区域；(4)ROIPooling层根据步骤(3)生成的建议区域对步骤(2)生成的P2、P3、P4、P5、P6特征进行ROIPooling操作生成特征R；(5)步骤(4)所生成的特征R同时送入ROI特征提取模块ROIHead和新旧类判别模块Discriminator；(6)新旧类判别模块将特征R送入两层全连接层后生成关于新类与基类的二分类预测分数；(7)ROI特征提取模块有两层全连接层将特征R提取为1024维的特征F，同时送入框坐标回归头Regression、分类头Classification和对比学习头Contrastiveleaming，其中回归头Regression和分类头Classification结果通过后处理生成最终检测结果。2.根据权利要求1所述的基于注意力和对比学习的小样本目标检测方法，其特征在于：小样本马赛克数据增强模块具体运行步骤包括：(2.1)按比例分别从基类样本集D
base
和新类样本集D
novel
中抽取样本；(2.2)每4张样本按新类与基类1∶3的比例，分别采用不同的数据增强方法处理后以某一随机的尺寸裁剪后拼接为一张样本，目的是为了让稀有的新类样本充分地与基类样本混合在一起，一方面从图片级作数据增强，另一方面为后续实例级对比学习作铺垫；(2.3)反复重复步骤(2.2)生成批次大小的训练样本D
train
。3.根据权利要求1所述的基于注意力和对比学习的小样本目标检测方法，其特征在于：坐标补偿注意力区域提议网络具体运行步骤包括：(3.1)将FPN的输出特征输入一层3x3卷积网络生成特征A；(3.2)将步骤(3.1)生成的特征A分别通过两层1x1卷积为每个像素点生成前景背景预测分数与回归坐标预测j∈(0，1)，0代表前景得分，1代表背景得分，i∈(0，1，2，3)分别代表中心(x，y)和宽高(w，h)的值；
(3.3)步骤(3.1)生成的特征A也送入了回归坐标补偿注意力分支生成补偿坐标其运算...

【专利技术属性】
技术研发人员：王蒙，王强，陈家兴，李鑫凯，邵逸轩，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：