标注不完备图像的识别方法、装置、系统和电子介质制造方法及图纸

本公开的实施例公开了标注不完备图像的识别方法、装置、系统和电子介质。该方法的一具体实施方式包括：标注单个标签的标注不完备图像，将标注不完备图像输入特征提取骨干网络，提取出多个不同层次的特征；构建一个语义掩膜模块，根据图像的类激活图生成语义掩膜，从不同层次的特征中提取单个物体的特征；构建一个掩膜择优模块，从全部图像中为每类物体筛选出一定量的显著的语义掩膜；构建一个基于期望最大化算法的自举学习框架，通过对比不同标签的物体的语义掩膜，逐步恢复和补充网络训练阶段的约束信息，从而使网络能够更准确地识别标注不完备图像。该实施方式增强了在复杂图像中对不同物体的区分、定位和识别能力，通过自举的方式提高准确性。方式提高准确性。方式提高准确性。

【技术实现步骤摘要】
标注不完备图像的识别方法、装置、系统和电子介质


[0001]本公开的实施例涉及计算机视觉领域，具体涉及标注不完备图像的识别方法、装置、系统和电子介质。

技术介绍

[0002]给出一张包含多种物体的图像，图像识别的目的是从图像中发现出现物体的标签(如类别)并输出。这是计算机视觉领域的一项基础性任务，是众多下游任务的依赖。
[0003]相比仅包含单个显著物体的图像，多标签图像更加复杂，涉及的标签类别往往更多，识别难度大。同时，由于图像复杂、标签类别繁多，人工标注用于训练的多标签图像数据集的成本更加不可承受。针对这个难点，已有深度学习方法试图使用非完整标注的数据集来训练图像多标签识别模型。一般情况下，已有方法往往假定数据集中所有图像仅有部分被完整标注了标签，或假定数据集中所有图像均只标注了其中出现物体的部分标签。并且，这些方法依赖于标签的关联关系或额外的先验信息，使用图网络、Transformer等结构、算法来发掘物体间的相关性，从而增强在此类弱监督、半监督下的准确度。但这种假设要求数据集中的图像必须至少标注两个及以上标签，忽视了现实中更有实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标注不完备图像的识别方法，包括：S100，给定仅标注单标签的不完备标注图像，将不完备标注图像输入特征提取骨干网络，提取出多个不同层次的特征，并初步识别图像，得到置信度；S200，构建一个语义掩膜模块，根据图像类激活图生成语义掩膜，从不同层次的特征中提取图像中单个物体的独立特征；S300，构建一个掩膜择优模块，从生成的语义掩膜中为每类物体筛选出预设数量的显著的语义掩膜；S400，构建一个基于期望最大化算法的自举学习框架，通过对比不同标签的物体的语义掩膜，逐步恢复和补充网络训练阶段的约束信息，使用对比学习损失函数、正则化在线标签估计损失函数及指数移动平均方法进行弱监督优化网络，生成能够用于识别图像的网络。2.根据权利要求1所述的方法，其中，所述网络由结构类似的在线网络和目标网络构成，两个网络均由特征提取骨干网络、语义掩膜模块、分类网络构成；在线网络与目标网络的区别在于在线网络参数由反向传播更新，目标网络参数由指数移动平均方法更新。3.根据权利要求2所述的方法，其中，所述语义掩膜模块具有以下特征：S100的图像特征F通过基于梯度的类激活图计算，获得给定图像对于标注标签c置信度p的激活图G；激活图G按可变大小l划分为格图，计算每个格的平均激活度，并以可变阈值γ
cam
作二值化处理，得到标注了图像中与标签相关联物体的语义掩膜M：其中，ind为指示函数，当ind[P]的条件P为真时，函数取1，否则取0，i、j表示语义掩膜M(矩阵)的第i行第j列的元素；使用语义掩膜M对图像特征作掩膜操作并使用基于自注意力机制的Transformer得到标签C关联物体的特征H：到标签C关联物体的特征H：其中，模块中的W
qry
、W
key
和W
val
为三个可学习的参数矩阵，t表示第t个训练迭代阶段，Δ表示位置编码，T表示矩阵转置，F表示图像特征。4.根据权利要求1所述的方法，其中，物体的独立特征生成过程具有以下特征：物体特征由多个层次不同尺度的特征经融合形成：其中，H
o
为不同层次的独立特征，n为层次数，为向量加运算，O表示独立特征H的层次数...

【专利技术属性】
技术研发人员：李甲，陈程，赵一凡，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：