一种弱监督目标检测方法及系统技术方案

本发明专利技术提供了一种针对图像的弱监督目标检测方法及系统，包括：对输入图像进行特征提取；进行自细化增强特征；对输入图像提取建议；增强特征通过一个ROI Pooling层提取建议的区域特征；对区域特征使用全连接层，得到特征矩阵；分别在类别和建议2个不同的维度进行softmax和元素积得到所有建议得分；获得图片在类别c上的得分。其中，建议得分与显著性先验模块、多目标搜索方法、Refinement分支、边界框回归分支以及面积指导的加权策略关联。本发明专利技术直接使用原始图像进行训练，在主要基础网络上没有引入额外的高复杂度模型，就能有效地训练一个端到端的目标检测模型；本发明专利技术在非刚性目标的检测效果上明显优于已有的算法。标的检测效果上明显优于已有的算法。标的检测效果上明显优于已有的算法。

【技术实现步骤摘要】
一种弱监督目标检测方法及系统


[0001]本专利技术涉及计算机视觉领域，具体地，涉及一种基于显著性先验信息和面积指导的弱监督目标检测方法、系统、终端及存储介质。

技术介绍

[0002]随着信息化时代的到来，计算机视觉的相关技术已经在各个领域发挥出重要的作用。由于卷积神经网络(Convolutional Neural Networks，CNN)的发展和大规模且标注详细的数据集的利用，全监督的目标检测技术已经可以达到较好的性能。然而，像素级的标注带来的高昂成本阻碍了目标检测技术成为一种在实践中流行的解决方案。因此，仅使用图像级标签的弱监督目标检测技术成为一种有效的手段并被广泛研究，它增加大量的训练数据也只需要少量的成本。但是也正因为减少了像素级别的位置信息，这种输入和输出信息的不匹配使得弱监督目标检测的性能和全监督检测之间仍然存在很大的性能差距。
[0003]多实例学习(Multiple Instance Learning,MIL)是一个有效且主流的解决方案。它将图像视为一个包，将每一个区域视为实例，通过不断在多张图像(包)中拟合相似的区域(实例)，来达到学习的目的。但网络在训练过程中不断选择得分最高的建议作为正样本，因此很容易造成局部检测，也就是只检测最具判别性的部分。
[0004]深度神经网络相比传统算法能更好地提取图像特征。在此基础上，为了寻找更完整的包围框，上下文信息、自学习、包围框回归、多任务学习和增强学习等方法被使用。使用这些方法可以在仅使用图像级监督的情况在，学习到目标完整的类别和定位。Bilen等人在H Bilen,A Vedaldi.Weakly supervised deep detection networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2016:2846
‑
2854.中，将CNN的特征提取和MIL检测器结合，并在分类和检测的双流分支网络上为特征打分，这成为之后MIL方案的主流框架。Tang等人在P Tang,X Wang,X Bai,et al.Multiple instance detection network with online instance classifier refinement[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.2017:2843
‑
2851.中提出在线实例分类细化，通过让细化模块的每一个流都监督其后一个流的方式，在迭代中逐步得到更完整的包围框。Yang等人在K Yang,D Li,Y Dou.Towards precise end
‑
to
‑
end weakly supervised object detection network[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision.2019:8372
‑
8381.中加入全监督网络的边界框回归模块，并将这一模块和MIL检测器融合成一个端到端的网络，这两个网络共享同一个主干网络，从而获得更好的定位。同时引入一个注意力引导模块，更有效地提取目标特征。已经提出的弱监督目标检测算法虽然相较于传统的检测方法已经有了很大的提升，但是网络对于非刚性目标的检测能力较弱，主要体现在倾向于局部检测。
[0005]经过检索发现：
[0006]公开号为CN113378829A、公开日为2021年09月10日的中国专利技术专利申请《一种基
于正负样本均衡的弱监督目标检测方法》，采集需要进行目标检测的场景图片并制作标签。将训练集输入筛选目标候选框模块，筛选目标候选框模块通过选择性搜索方法获取场景图像的所有目标候选框，根据场景图像对应的弱监督语义分割结果M计算所有目标候选框的环境系数，将所有目标候选框的环境系数进行排序并选择环境系数靠前的若干个目标候选框，将选择的目标候选框作为场景图像对应的初始目标候选框。建立弱监督目标检测网络，将得到的训练集和初始目标候选框同时输入弱监督目标检测网络中进行训练，训练过程中利用最优目标框更新方法获得训练后的弱监督目标检测网络。该方法需要额外训练一个弱监督语义分割网络来计算环境系数，并且并没有针对非刚性物体进行优化，局部检测的情况仍较严重。
[0007]公开号为CN114972711A、公开日为2022年08月30日的中国专利技术专利申请《一种基于语义信息候选框的改进弱监督目标检测方法》，通过对训练集进行包括随机水平翻转在内的预处理。设计组合主干网络，用于融合来自掩膜和非掩膜的网络分支的特征，非掩膜的网络分支任务是粗略地找到局部有显著区别的目标部分并对该目标进行定位，而掩膜分支的任务是屏蔽显著特征，并且保留不明显特征在网络中的响应。设计基于多示例选择算法的多分支检测头网络，生成有较高置信度的伪真实目标框进行训练。对多分支检测头网络模型生成的目标语义信息进行循环掩膜来从而生成更合理的目标候选框。该方法在网络中需要对掩膜进行循环生成，在特征提取部分计算量偏大，导致检测速度偏低。同时网络着重于解决图像中的多目标问题，但掩膜在迭代中也可能收敛到局部，导致最后只定位到目标的部分区域。
[0008]目前没有发现同本专利技术类似技术的说明或报道，也尚未收集到国内外类似的资料。

技术实现思路

[0009]针对现有技术中的缺陷，本专利技术的目的是提供一种弱监督目标检测方法及系统。
[0010]根据本专利技术的一个方面，提供一种弱监督目标检测方法，包括：
[0011]对输入图像进行特征提取；
[0012]对所述特征进行自细化，获得增强特征；
[0013]对所述输入图像提取建议；
[0014]所述增强特征通过一个ROIPooling层提取所述建议的区域特征；
[0015]对所述区域特征使用全连接层，得到特征矩阵x
cls
,
[0016]分别在类别和建议2个不同的维度上进行softmax得到σ(x
cls
)，σ(x
det
)，通过元素积得到所有建议得分；
[0017]获得图片在类别c上的图像得分，其通过所有建议在该类的得分和得到：
[0018]其中，所述建议得分、图像得分与显著性先验模块、多目标搜索方法、Refinement分支、边界框回归分支以及面积指导的加权策略关联。
[0019]优选地，在训练时，所述建议得分和图像得分通过MIL检测头获得；
[0020]作为所述MIL检测头的输出，通过所述Refinement分支进行细化；K分支的每一分支由独立的FClayer和softmax层组成，并采用所述显著性先验模块与多目标搜索方法相结
...

【技术保护点】

【技术特征摘要】
1.一种弱监督目标检测方法，其特征在于，包括：对输入图像进行特征提取；对所述特征进行自细化，获得增强特征；对所述输入图像提取建议；所述增强特征通过一个ROI Pooling层提取所述建议的区域特征；对所述区域特征使用全连接层，得到特征矩阵x
cls
,分别在类别和建议2个不同的维度上进行softmax得到σ(x
cls
)，σ(x
det
)，通过元素积得到所有建议得分；获得图片在类别c上的图像得分，其通过所有建议在该类的得分和得到：其中，所述建议得分、图像得分与显著性先验模块、多目标搜索方法、Refinement分支、边界框回归分支以及面积指导的加权策略关联。2.根据权利要求1所述的一种弱监督目标检测方法，其特征在于，在训练时，所述建议得分和图像得分通过MIL检测头获得；作为所述MIL检测头的输出，通过所述Refinement分支进行细化；K分支的每一分支由独立的FC layer和softmax层组成，并采用所述显著性先验模块与多目标搜索方法相结合的方式寻找丰富且尽可能完整的目标建议作为伪包围框；在最后一个Refinement分支后添加所述边界框回归分支；关于所述Refinement分支和边界框回归分支中的建议分数，通过使用所述面积指导的样本加权策略，鼓励网络在更大的范围内搜索目标。3.根据权利要求1所述的一种弱监督目标检测方法，其特征在于，所述对特征进行自细化，获得增强特征，包括：对输入特征，采用1
×
1的卷积块，得到用于乘法和加法的掩码W和偏置b；掩码和偏置处理后的输入特征经过一个softmax函数后得到增强层A＝σ(W
⊙
f
in
+b)其中A为权重，f
in
是输入特征图，σ是softmax函数；特征经过增强后，得到输出特征f
out
：f
out
＝(1+A)f
in
。4.根据权利要求1所述的一种弱监督目标检测方法，其特征在于，在所述显著性先验模块的过程，包括：提取输入图像I的多个传统特征，得到显著性预测图I
s
；对预测图I
s
进行腐蚀与膨胀操作进行修正，得到修正后的显著图进行腐蚀与膨胀操作进行修正，得到修正后的显著图其中F
e
和F
d
分别为腐蚀和膨胀函数；对所述显著图进行阈值分割，得到所有连通区域的显著性包围框其中为连通区域数目；选择面积最大的连通区域包围框作为当前训练图像的一个可信任伪包围框b
s
并和最高得分样本相同的分数，表示为：
通过第一过滤器进行筛选，仅保留单类别图像的显著性包围框；通过第二过滤器进行筛选，去除占比图像超过一半且预测值分布离散的显著性伪包围框。5.根据权利要求4所述的一种弱监督目标检测方法，其特征在于，使用所述多目标搜索方法获得的搜索结果对所述显著性模块得到的包围框进行筛选，包括：通过多目标搜索方法，获取输入图像的所有候选建议对于所有的候选建议，对每个类别按照得分进行降序排序，选择得分靠前为设定值的建议组成候选池迭代的获取所述候选池中得分最高的建议进入伪包围框集并从所...

【专利技术属性】
技术研发人员：王永芳，张涵，
申请(专利权)人：上海大学，
类型：发明
国别省市：