System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于擦除增强策略的弱监督目标定位方法及装置制造方法及图纸_技高网

一种基于擦除增强策略的弱监督目标定位方法及装置制造方法及图纸

技术编号:40814535 阅读:5 留言:0更新日期:2024-03-28 19:35
本发明专利技术提供一种基于擦除增强策略的弱监督目标定位方法,属于图像处理领域,具体包括:选取分类网络作为骨干网络;对所述骨干网络的中间层引入通道级池化,以筛选显著片段作为所述骨干网络的任务区域;通过反转交叉熵损失最小化背景区域中除目标类别的所有类损失,以将所述任务区域中的背景区域剥离;基于所述反转交叉熵损失及所述骨干网络的分割损失对所述骨干网络进行训练,获得语义分割网络;通过所述语义分割网络对待目标定位的图像进行预测,获得预测结果。本发明专利技术既能在高维特征的层面上实现数据增强技术,从而迫使网络学习完整的目标区域,同时又能解决协同定位网络中可能存在的前景信息模糊的问题。

【技术实现步骤摘要】

本专利技术属于图像处理领域,尤其涉及一种基于擦除增强策略的弱监督目标定位方法及装置


技术介绍

1、目标检测是计算机视觉中一项基础且关键的任务,其目标在于从给定图像中精准定位目标并确定其类别。目标检测在多个领域都有实际应用,典型的包括人脸、行人和车辆等重要目标的识别。

2、近年来,深度学习技术迅猛进步,在目标检测领域引起持续关注,逐渐超越了许多基于特征的传统目标检测方法。当前的深度学习目标检测算法可分为两类:基于回归的一阶段算法以及基于候选框的二阶段算法。基于候选框的方法包含候选框提取和分类两个模块,著名的算法如r-cnn和faster-rcnn。基于回归的一阶段算法,例如yolo和ssd,通过直接回归目标的位置和类别来实现目标检测,相对于基于候选框的方法,只需一步即可实现,因此速度更快。然而,这些全监督目标检测方法需要大量昂贵的边界框标注信息。

3、虽然标注数据提升了深度学习目标检测算法的性能,但也付出了巨大的时间和人力成本。实际中存在大量未标注数据,难以应用全监督目标检测方法。而弱监督定位算法则无需昂贵的边界框标注,只要求图像级别的类别标签,即可推测目标位置。因此,实现高精度的弱监督定位具有重要研究和应用价值。当前的弱监督目标定位研究常通过训练深度学习分类模型,然后利用分类器特殊类别权重对最终卷积特征图进行加权,获取分类网络的感兴趣区域,最终获取定位图。

4、然而,尽管弱监督目标定位方法成本低、有一定的应用前景,但由于分类模型更偏向于识别图像中最显著的物体区域,导致定位效果不佳。针对这一问题,国内外研究者提出了数据增强、擦除等方法。一种朴素的方法是按照定位图的权重,遮盖物体显著区域,迫使网络关注目标其他位置的特征,从而实现从局部定位到整体目标区域的转变。同时,部分研究者使用图像级别的数据增强策略,例如has、cutmix等方法,迫使分类网络关注更完整的目标区域,从而更好的执行目标定位任务。最近,有学者提出了弱监督目标定位任务中的两阶段范式,能够将目标定位任务和分类任务解耦,增加了额外的定位网络,取代了先前仅使用分类网络执行定位任务的方式,从而使得二者互相解耦,提升了定位能力。

5、上述方法都存在不同程度的缺陷,例如,数据增强方法通常只在图像层面进行,没有利用网络深层特征图的更多信息。同时,上文中提及的两阶段范式通常将多类定位转换为仅区分前景的定位任务,这有可能导致目标区域过大,最终使得定位错误。

6、另外现有的一种弱监督目标定位方法,首先利用图像旋转对数据进行增强,随后训练分类网络,利用分类网络输出第一阶段的定位图作为伪标签,随后利用该伪标签训练第二阶段的协同定位网络。但是该方法也存在缺陷,该方法仅考虑了在图像层面进行数据增强,而没有利用特征图中的信息,同时没有考虑到协同定位的二阶段网络中可能存在的前景目标不明确的问题。


技术实现思路

1、鉴于以上现有技术的不足,专利技术的目的在于提供一种基于擦除增强策略的弱监督目标定位方法及装置。

2、本专利技术第一方面提供一种基于擦除增强策略的弱监督目标定位方法,包括:

3、s1:选取分类网络作为骨干网络;

4、s2:对所述骨干网络的中间层引入通道级池化,以筛选显著片段作为所述骨干网络的任务区域;

5、s3:通过反转交叉熵损失最小化背景区域中除目标类别的所有类损失,以将所述任务区域中的背景区域剥离;

6、s4:基于所述反转交叉熵损失及所述骨干网络的分割损失对所述骨干网络进行训练,获得语义分割网络;

7、s5:通过所述语义分割网络对待目标定位的图像进行预测,获得预测结果。

8、进一步的,步骤s1中的所述骨干网络包括全卷积网络、全局平均池化层及全连接层。

9、进一步的,步骤s2进一步包括:

10、s21:将待处理图像输入所述全卷积网络进行特征提取;

11、s22:所述全卷积网络将提取到的特征送入所述全局平均池化层进行池化;

12、s23:所述全局平均池化层将输出结果送入所述全连接层进行加权平均、维度变换及softmax函数激活,获得作为所述骨干网络的任务区域的分类结果。

13、进一步的,步骤s23中的所述分类结果为类激活映射图,所述类激活映射图的表达式为:

14、

15、其中,my为获得的类激活映射图,fk为全卷积网络最后一卷积层输出的特征图,k为全卷积网络中卷积层总数,k为全卷积网络中卷积层索引值,wk,y为全连接层在待处理图像的目标类别上的权重。

16、进一步的,步骤s3进一步包括:

17、s31:在所述任务区域内,通过预设的预测值阈值识别获得背景区域;

18、s32:将所述背景区域送入其他分类网络,获得背景分类结果;

19、s33:基于所述任务区域中的目标类别的实际标签对应的反独热标签与所述背景分类结果,计算获得反转交叉熵损失;

20、s34:通过所述反转交叉熵损失令所述背景区域远离所述目标类别,以将所述任务区域中的背景区域剥离。

21、进一步的,步骤s33中的所述反转交叉熵损失的表达式为:

22、

23、其中,l为计算获得的反转交叉熵损失,n为目标总数,c为分类结果中目标的类别总数,yi,j为包括第i个目标与第j个类别的待预测特征,为第i个目标与第j个类别的实际标签的独热编码。

24、进一步的,所述反转交叉熵损失中,的取值为0或1,当取值为0时,第i个目标不属于第j个类别;当取值为1时,第i个目标属于第j个类别。

25、本专利技术第二方面提供一种基于擦除增强策略的弱监督目标定位装置,包括:

26、显著选取模块:用于对骨干网络的中间层引入通道级池化,以筛选显著片段作为所述骨干网络的任务区域;

27、背景剥离模块:用于通过反转交叉熵损失最小化背景区域中除目标类别的所有类损失,以将所述任务区域中的背景区域剥离;

28、训练预测模块:用于基于所述反转交叉熵损失及骨干网络的分割损失对所述骨干网络进行训练,获得语义分割网络;还用于通过获得语义分割网络对待目标定位的图像进行预测,获得预测结果。

29、本专利技术第三方面提供一种基于擦除增强策略的弱监督目标定位设备,包括:

30、存储器和至少一个处理器,所述存储器中存储有指令;

31、至少一个所述处理器调用所述存储器中的所述指令,以使得文档数据库审计设备执行如以上任一项所述的一种基于擦除增强策略的弱监督目标定位方法。

32、本专利技术第四方面提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现如以上任一项所述的一种基于擦除增强策略的弱监督目标定位方法。

33、本专利技术有益效果如下:

34、本专利技术提供的一种基于擦除增强策略的弱监督目标定位方法及装置,结合特征提取、随机擦除、本文档来自技高网...

【技术保护点】

1.一种基于擦除增强策略的弱监督目标定位方法,其特征在于,包括:

2.根据权利要求1所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,步骤S1中的所述骨干网络包括全卷积网络、全局平均池化层及全连接层。

3.根据权利要求2所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,步骤S2进一步包括:

4.根据权利要求3所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,步骤S23中的所述分类结果为类激活映射图,所述类激活映射图的表达式为:

5.根据权利要求1所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,步骤S3进一步包括:

6.根据权利要求5所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,步骤S33中的所述反转交叉熵损失的表达式为:

7.根据权利要求6所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,所述反转交叉熵损失中,的取值为0或1,当取值为0时,第i个目标不属于第j个类别;当取值为1时,第i个目标属于第j个类别。

8.一种基于擦除增强策略的弱监督目标定位装置,其特征在于,包括:

9.一种基于擦除增强策略的弱监督目标定位设备,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现如权利要求1至7任一项所述的一种基于擦除增强策略的弱监督目标定位方法。

...

【技术特征摘要】

1.一种基于擦除增强策略的弱监督目标定位方法,其特征在于,包括:

2.根据权利要求1所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,步骤s1中的所述骨干网络包括全卷积网络、全局平均池化层及全连接层。

3.根据权利要求2所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,步骤s2进一步包括:

4.根据权利要求3所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,步骤s23中的所述分类结果为类激活映射图,所述类激活映射图的表达式为:

5.根据权利要求1所述的一种基于擦除增强策略的弱监督目标定位方法,其特征在于,步骤s3进一步包括:

6.根据权利要求5所述的一种...

【专利技术属性】
技术研发人员:范宇铭杨东明郭逸豪
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1