【技术实现步骤摘要】
一种基于峰值挖掘和过滤的弱监督实例分割方法
[0001]本专利技术属于计算机软件
，涉及弱监督实例分割技术，具体为一种基于峰值挖掘和过滤的弱监督实例分割方法。
技术介绍
[0002]在计算机视觉领域，常规的监督学习都需要对数据集进行长时间的标注，非常消耗资源和时间，而弱监督学习就是通过弱化标注信息的监督强度从而降低数据集标注造成的大量资源消耗。实例分割任务旨在精准分割图像中所有前景物体，对于每个像素不仅预测其语义类别同时判定其个体归属。因而弱监督实例分割的目标是通过弱化标注信息实现需要像素级标注的实例分割任务。
[0003]对于实例分割任务，图像级类别标注相较于像素级类别标注仅提供图像中存在的物体语义类别但不直接提供物体的位置、形状、数量等信息，有益于构建大规模数据集。当前基于图像级类别标注的弱监督实例分割算法主要分为两类：基于检测和基于分割。对于前一类，PRM(Peak Response Map,峰值响应图)算法提出峰值激活的概念用于物体的定位和分类，并利用网络梯度计算概率依赖得到峰值在原图上的响应，接着利用...
【技术保护点】
【技术特征摘要】
1.一种基于峰值挖掘和过滤的弱监督实例分割方法，其特征是构建图像分类网络和实例分割网络，以图像级类别标签作为监督进行训练，先训练图像分类网络，再由图像分类网络得到实例分割网络的训练数据进行监督训练，进而完成实例分割，图像分类网络包括以下配置：1)特征融合，使用ResNet50作为主干网络提取图像特征，将来自网络中不同层、不同尺寸的特征图进行融合，生成表征和语义信息更丰富的特征图；2)对抗擦除，对特征图进行降维并转化成类别激活图，针对真值类别对应的类别激活图中显著区域，在特征图上进行擦除并采用特征均值进行填充，再利用卷积层对填充后的特征图重新进行类别激活以拓展语义响应区域；其中擦除前和擦除后两个分支采用两个不同参数的分类器用于图像识别，进而激活输出擦除前后两个类别激活图；3)峰值激活，采用峰值对图像中的物体进行定位和分类，生成表征独立物体的局部显著峰值，某一语义类别的类别激活图上局部最显著的峰值表示该位置存在一个该类别的物体，通过局部最大池化得到局部峰值并以语义标注信息进行监督，采用Maxpooling层分别对2)中擦除前后得到的类别激活图进行池化操作，得到来自擦除前后分支激活的峰值列表；4)过滤模块，针对1)得到的特征图旁加一个与擦除前后分支及峰值激活层不同类型的分类器，独立判别物体的语义类别；实例分割网络包含图像分类网络，在图像分类网络的基础上，对擦除前后的分支响应进行聚类分析和迭代检索，再结合过滤模块过滤掉不符合置信度要求的分割掩膜，得到实例分割结果，具体为：由训练集训练图像分类网络后，在图像分类网络上，对待进行实例分割的包含无类别候选分割掩膜集合的测试图像，利用网络梯度计算概率依赖，得到峰值在原图上的响应即峰值响应图，并基于峰值的深度特征进行聚类分析，合并来自同一物体的不同峰值响应图，在进行实例分割时，利用峰值响应图迭代地检索原图对应的无类别候选分割掩膜集合，并选取最佳匹配项作为该物体的分割掩膜，同时结合过滤模块得到的物体的类别信息和形状信息更新置信度，以过滤低质量分割掩膜，最后利用上述方法对训练图像分类网络的训练集图像进行实例分割，生成具备伪像素标注的数据集，用于完全监督实例分割算法的监督训练。2.根据权利要求1所述的一种基于峰值挖掘和过滤的弱监督实例分割方法，其特征是包括以下步骤：1)处理样本阶段，训练样本包括RGB图像及其对应的类别标注，其中对输入图像进行水平概率翻转的数据增强，测试样本包括RGB图像，以及采用MCG算法生成每张图像对应的无类别候选分割掩膜集合；2)网络配置阶段，以RGB图像作为输入并以图像级类别标签作为监督，图像分类网络包括以下配置：2.1)特征融合，使用ResNet50作为主干网络提取图像特征，Resnet50包括layer0、layer1、layer2、layer3和layer4，融合来自layer3和layer4的特征，得到融合的特征图F
last
；2.2)对抗擦除，对于每张输入样本，在相同的类别标注监督下，采用两个不同参数的分类器结构进行图像识别，对于2.1)特征融合后得到的特征图F
last
，擦除前分支记为Branch
A
，
采用一个卷积核尺寸为1*1步长为1的卷积层进行激活，特征图的通道数由2048转化为语义类别数量C，Branch
A
的输出称为类别激活图记为M
A
，将语义类别转化为数字标注，对于N个前景类别，采用1*N的向量进行表示，图像存在该类别则对应索引位置值为1，反之值为0，监督训练时根据图像真值类别选取M
A
上对应通道数层，并生成前景显著图记为M
s
，首先对第i层类别激活图进行归一化，将图中每个位置的元...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。