【技术实现步骤摘要】
本专利技术涉及计算机视觉，具体涉及一种基于上下文感知自训练的基础模型弱监督目标检测方法、装置、电子设备及存储介质。
技术介绍
1、数据量的增加促进了目标检测技术的发展，但它也带来了对人工标注越来越大的需求。由于在最常见的全监督目标检测任务中需要对每个实例进行位置和类别的标注，使得数据标记过程通常费时费力。为了缓解这类问题，一种只需要图像级分类标签的弱监督范式应运而生，该范式被称为弱监督目标检测（weakly supervised object detection，wsod）。当图像幅面广阔，背景复杂时，弱监督方法可以极大地减小标注的难度，有着广阔的前景。
2、尽管弱监督检测方法降低了目标检测的成本，但由于使用的是低精度的标注，模型效果通常没有全监督优越。后续提出的方法往往致力于缩小弱监督和全监督算法之间的差距，又以提高目标的定位准确性为主要努力方向。其中一个显著的问题是检测器倾向于关注物体最具辨别性的部分而不是它的整体，同时也可能会发生前景框和背景框之间混淆的现象。
3、另外，在使用自训练算法的方法中，伪真值的选择过程缺乏鲁棒性。一旦根据前面的得分选定了伪真值框，它们就会作为其他建议框的划分标准。因此，对分数的不全面的分析和利用可能会导致大量伪标签不准确的情况。
4、现有技术中的相关方法中通常逐类别分析建议框的得分向量，将每个类别中得分高的建议框指定为此类别候选伪真值。但这种方法忽视了类别间的约束关系，而类别的考量顺序也会带来结果的不同。
技术实现思路>
1、为解决现有技术中存在的问题，本专利技术实施例提供的一种基于上下文感知自训练的基础模型弱监督目标检测方法、装置、电子设备及存储介质，该方法利用整体损失对基础模型进行优化，优化后的模型用于对目标进行监测，其在弱监督检测上有着优越的表现。
2、本专利技术的第一个方面提供了一种基于上下文感知自训练的基础模型弱监督目标检测方法，基础模型包括骨干网络和roialign结构，该方法包括：将多个输入图像输入至骨干网络中进行图像处理，得到每个输入图像的特征图，以及对多个输入图像进行选择性搜索，得到与每个输入图像对应的多个建议框；将每个输入图像的特征图和与每个输入图像对应的多个建议框分别输入至roialign结构中进行特征提取，得到每个建议框的内部区域特征、外周区域特征和内周区域特征；根据每个建议框的内部区域特征、外周区域特征和内周区域特征，得到每个输入图像的定位得分矩阵和分类得分矩阵；根据每个输入图像的定位得分矩阵和分类得分矩阵，得到每个输入图像的目标得分矩阵；根据每个输入图像的目标得分矩阵和预置目标真值，得到显著性损失函数；其中，显著性损失函数用于对基础模型进行优化，基础模型用于进行目标检测。
3、进一步地，基础模型还包括语义平衡定位模块和分类全连接层，其中，根据每个建议框的内部区域特征、外周区域特征和内周区域特征，得到每个输入图像的定位得分矩阵和分类得分矩阵，包括：将每个建议框的内部区域特征、外周区域特征和内周区域特征输入至语义平衡定位模块，得到定位得分矩阵；将每个建议框的内部区域特征输入至分类全连接层，得到分类得分矩阵。
4、进一步地，基础模型还包括综合聚类模块和标签过滤模块；其中，根据每个输入图像的目标得分矩阵和预置目标真值，得到显著性损失函数，包括：将每个输入图像的目标得分矩阵输入至综合聚类模块进行候选分析，得到每个输入图像的候选伪真值；将每个输入图像的候选伪真值输入至标签过滤模块，得到显著性损失函数。
5、进一步地，将每个输入图像的候选伪真值输入至标签过滤模块，得到显著性损失函数，包括：将与每个输入图像的候选伪真值对应的区域特征进行去噪处理，得到去噪处理后的每个区域特征；将每个区域特征输入至标签过滤模块，得到与每个区域特征对应的显著图片；根据与每个区域特征对应的显著图片，得到显著性损失函数。
6、进一步地，骨干网络为resnet50网络，其中，将多个输入图像输入至骨干网络中进行图像处理，得到每个输入图像的特征图，包括：将多个输入图像输入至resnet50网络中进行图像处理，得到每个输入图像的特征图；其中，resnet50网络包括33大小的卷积层。
7、进一步地，根据每个输入图像的定位得分矩阵和分类得分矩阵，得到每个输入图像的目标得分矩阵，包括：对每个输入图像的定位得分矩阵和分类得分矩阵进行哈达玛积处理，得到每个输入图像的目标得分矩阵。
8、进一步地，目标为飞机、汽车、建筑、球场和舰船中的一种或多种。
9、本专利技术的第二个方面提供了一种基于上下文感知自训练的基础模型弱监督目标检测装置，包括：输入图像处理模块，配置为将多个输入图像输入至骨干网络中进行图像处理，得到每个输入图像的特征图，以及对多个输入图像进行选择性搜索，得到与每个输入图像对应的多个建议框；特征提取模块，配置为将每个输入图像的特征图和与每个输入图像对应的多个建议框分别输入至roialign结构中进行特征提取，得到每个建议框的内部区域特征、外周区域特征和内周区域特征；特征处理模块，配置为根据每个建议框的内部区域特征、外周区域特征和内周区域特征，得到每个输入图像的定位得分矩阵和分类得分矩阵，以及根据每个输入图像的定位得分矩阵和分类得分矩阵，得到每个输入图像的目标得分矩阵；模型优化模块，配置为根据每个输入图像的目标得分矩阵和预置目标真值，得到显著性损失函数；其中，显著性损失函数用于对基础模型进行优化，基础模型用于进行目标检测。
10、本专利技术的第三个方面提供了一种电子设备，包括：存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本专利技术的第一个方面提供的基于上下文感知自训练的基础模型弱监督目标检测方法。
11、本专利技术的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现本专利技术的第一个方面提供的基于上下文感知自训练的基础模型弱监督目标检测方法。
12、本专利技术提供的一种基于上下文感知自训练的基础模型弱监督目标检测方法，该方法首先将输入图像输入骨干网络获得其特征图，然后通过roialign结构提取出各个建议框内部区域特征、外周区域特征和内周区域特征。将提取出的特征输入语义平衡定位模块，获得各个建议框的定位打分。然后通过综合聚类模块对各打分进行分析，得到候选伪真值框，接着使用基于显著图的标签过滤模块进行候选框评估，计算损失。该方法在迭代自训练中完成整体网络的优化，使得整体网络在弱监督检测上有着优越的表现。
本文档来自技高网...【技术保护点】
1.一种基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述基础模型包括骨干网络和ROIAlign结构，该方法包括：
2.根据权利要求1所述的基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述基础模型还包括语义平衡定位模块和分类全连接层，其中，所述根据每个建议框的内部区域特征、外周区域特征和内周区域特征，得到所述每个输入图像的定位得分矩阵和分类得分矩阵，包括：
3.根据权利要求1所述的基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述基础模型还包括综合聚类模块和标签过滤模块；其中，所述根据所述每个输入图像的目标得分矩阵和预置目标真值，得到显著性损失函数，包括：
4.根据权利要求3所述的基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述将所述每个输入图像的候选伪真值输入至所述标签过滤模块，得到所述显著性损失函数，包括：
5.根据权利要求1所述的基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述骨干网络为ResNet50网络，其中，所述将多个输入图像输入至所述
6.根据权利要求1所述的基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述根据所述每个输入图像的定位得分矩阵和分类得分矩阵，得到所述每个输入图像的目标得分矩阵，包括：
7.根据权利要求1所述的基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述目标为飞机、汽车、建筑、球场和舰船中的一种或多种。
8.一种基于上下文感知自训练的基础模型弱监督目标检测装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的基于上下文感知自训练的基础模型弱监督目标检测方法。
...【技术特征摘要】
1.一种基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述基础模型包括骨干网络和roialign结构，该方法包括：
2.根据权利要求1所述的基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述基础模型还包括语义平衡定位模块和分类全连接层，其中，所述根据每个建议框的内部区域特征、外周区域特征和内周区域特征，得到所述每个输入图像的定位得分矩阵和分类得分矩阵，包括：
3.根据权利要求1所述的基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述基础模型还包括综合聚类模块和标签过滤模块；其中，所述根据所述每个输入图像的目标得分矩阵和预置目标真值，得到显著性损失函数，包括：
4.根据权利要求3所述的基于上下文感知自训练的基础模型弱监督目标检测方法，其特征在于，所述将所述每个输入图像的候选伪真值输入至所述标签过滤模块，得到所述显著性损失函数，包括：
5.根据权利要求1所述...
【专利技术属性】
技术研发人员：冯瑛超，许光銮，杜璇仪，闫志远，尹文昕，吴有明，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。