标注不完备图像的识别方法、装置、系统和电子介质制造方法及图纸

本公开的实施例公开了标注不完备图像的识别方法、装置、系统和电子介质。该方法的一具体实施方式包括：标注单个标签的标注不完备图像，将标注不完备图像输入特征提取骨干网络，提取出多个不同层次的特征；构建一个语义掩膜模块，根据图像的类激活图生成语义掩膜，从不同层次的特征中提取单个物体的特征；构建一个掩膜择优模块，从全部图像中为每类物体筛选出一定量的显著的语义掩膜；构建一个基于期望最大化算法的自举学习框架，通过对比不同标签的物体的语义掩膜，逐步恢复和补充网络训练阶段的约束信息，从而使网络能够更准确地识别标注不完备图像。该实施方式增强了在复杂图像中对不同物体的区分、定位和识别能力，通过自举的方式提高准确性。方式提高准确性。方式提高准确性。

【技术实现步骤摘要】
标注不完备图像的识别方法、装置、系统和电子介质


[0001]本公开的实施例涉及计算机视觉领域，具体涉及标注不完备图像的识别方法、装置、系统和电子介质。

技术介绍

[0002]给出一张包含多种物体的图像，图像识别的目的是从图像中发现出现物体的标签(如类别)并输出。这是计算机视觉领域的一项基础性任务，是众多下游任务的依赖。
[0003]相比仅包含单个显著物体的图像，多标签图像更加复杂，涉及的标签类别往往更多，识别难度大。同时，由于图像复杂、标签类别繁多，人工标注用于训练的多标签图像数据集的成本更加不可承受。针对这个难点，已有深度学习方法试图使用非完整标注的数据集来训练图像多标签识别模型。一般情况下，已有方法往往假定数据集中所有图像仅有部分被完整标注了标签，或假定数据集中所有图像均只标注了其中出现物体的部分标签。并且，这些方法依赖于标签的关联关系或额外的先验信息，使用图网络、Transformer等结构、算法来发掘物体间的相关性，从而增强在此类弱监督、半监督下的准确度。但这种假设要求数据集中的图像必须至少标注两个及以上标签，忽视了现实中更有实践意义的单标签数据集。
[0004]根据专利技术公开的方法属于利用深度网络提取特征，在单标签标注的不完备图像数据集上提出基于语义掩膜对比的自举学习框架，进行弱监督学习的识别方法，及基于该方法的装置、系统和电子介质。相比上述方法，具有三个有益的特点：1)降低了图像标注成本，可以充分利用标注不完备数据，节省人力开销，提高方法的实用性；2)语义掩膜对比进一步增强了方法在复杂图像中对不同物体的区分、定位和识别能力；3)无需依赖额外先验信息，通过自举的方式提高准确性。

技术实现思路

[0005]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
[0006]本公开的一些实施例提出了标注不完备图像的识别方法、装置、系统和电子介质，来解决以上
技术介绍
部分提到的技术问题中的一项或多项。
[0007]根据上述实际需求和关键问题，本公开的目的在于：提出标注不完备图像的识别方法、装置、系统和电子介质，输入仅标注单个标签的不完备图像数据，通过提取多层次特征，使用语义掩膜模块和掩膜择优模块生成语义掩膜，再基于自举学习框架利用语义掩膜对比优化网络参数，最后得到可以识别图像中所有已知物体的标签的神经网络。
[0008]第一方面，本公开的一些实施例提供了一种标注不完备图像的识别方法，该方法包括：步骤S100，给定仅标注单标签的不完备标注图像，将不完备标注图像输入特征提取骨干网络，提取出多个不同层次的特征；步骤S200，构建一个语义掩膜模块，根据图像类激活
图生成语义掩膜，从不同层次的特征中提取图像中单个物体的独立特征；步骤S300，构建一个掩膜择优模块，从S200生成的语义掩膜中为每类物体筛选出一定量的显著的语义掩膜；步骤S400，构建一个基于期望最大化算法的自举学习框架，通过对比不同标签的物体的语义掩膜，逐步恢复和补充网络训练阶段的约束信息，使用对比学习损失函数、正则化在线标签估计损失函数及指数移动平均方法进行弱监督优化网络。
[0009]第二方面，本公开的一些实施例提供了一种标注不完备图像的识别装置，装置包括：输入单元，被配置成给定仅标注单标签的不完备标注图像，将不完备标注图像输入特征提取骨干网络，提取出多个不同层次的特征，并初步识别图像，得到置信度；第一构建单元，被配置成构建一个语义掩膜模块，根据图像类激活图生成语义掩膜，从不同层次的特征中提取图像中单个物体的独立特征；第二构建单元，被配置成构建一个掩膜择优模块，从生成的语义掩膜中为每类物体筛选出一定量的显著的语义掩膜；第三构建单元，被配置成构建一个基于期望最大化算法的自举学习框架，通过对比不同标签的物体的语义掩膜，逐步恢复和补充网络训练阶段的约束信息，使用对比学习损失函数、正则化在线标签估计损失函数及指数移动平均方法进行弱监督优化网络。
[0010]第三方面，本公开的一些实施例提供了一种系统，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任一实现方式所描述的方法。
[0011]第四方面，本公开的一些实施例提供了一种电子介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述任一实现方式所描述的方法。
附图说明
[0012]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
[0013]图1是根据本公开的标注不完备图像的识别方法的一些实施例的流程图；
[0014]图2是根据本公开的标注不完备图像的识别方法的一些实施例的总框架图；
[0015]图3是根据本公开的标注不完备图像的识别方法的一些实施例的掩膜择优模块结构图；
[0016]图4是根据本公开的标注不完备图像的识别方法的一些实施例的S200步骤流程图；
[0017]图5是根据本公开的标注不完备图像的识别方法的一些实施例的S300步骤流程图；
[0018]图6是根据本公开的标注不完备图像的识别方法的一些实施例的S400步骤流程图；
[0019]图7是根据本公开的标注不完备图像的识别装置的一些实施例的结构示意图。
具体实施方式
[0020]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这
里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0021]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
[0022]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0023]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0024]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0025]下面将参考附图并结合实施例来详细说明本公开。
[0026]图1示出了根据本公开的标注不完备图像的识别方法的一些实施例的流程100。该标注不完备图像的识别方法，包括以下步骤：
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标注不完备图像的识别方法，包括：S100，给定仅标注单标签的不完备标注图像，将不完备标注图像输入特征提取骨干网络，提取出多个不同层次的特征，并初步识别图像，得到置信度；S200，构建一个语义掩膜模块，根据图像类激活图生成语义掩膜，从不同层次的特征中提取图像中单个物体的独立特征；S300，构建一个掩膜择优模块，从生成的语义掩膜中为每类物体筛选出预设数量的显著的语义掩膜；S400，构建一个基于期望最大化算法的自举学习框架，通过对比不同标签的物体的语义掩膜，逐步恢复和补充网络训练阶段的约束信息，使用对比学习损失函数、正则化在线标签估计损失函数及指数移动平均方法进行弱监督优化网络，生成能够用于识别图像的网络。2.根据权利要求1所述的方法，其中，所述网络由结构类似的在线网络和目标网络构成，两个网络均由特征提取骨干网络、语义掩膜模块、分类网络构成；在线网络与目标网络的区别在于在线网络参数由反向传播更新，目标网络参数由指数移动平均方法更新。3.根据权利要求2所述的方法，其中，所述语义掩膜模块具有以下特征：S100的图像特征F通过基于梯度的类激活图计算，获得给定图像对于标注标签c置信度p的激活图G；激活图G按可变大小l划分为格图，计算每个格的平均激活度，并以可变阈值γ
cam
作二值化处理，得到标注了图像中与标签相关联物体的语义掩膜M：其中，ind为指示函数，当ind[P]的条件P为真时，函数取1，否则取0，i、j表示语义掩膜M(矩阵)的第i行第j列的元素；使用语义掩膜M对图像特征作掩膜操作并使用基于自注意力机制的Transformer得到标签C关联物体的特征H：到标签C关联物体的特征H：其中，模块中的W
qry
、W
key
和W
val
为三个可学习的参数矩阵，t表示第t个训练迭代阶段，Δ表示位置编码，T表示矩阵转置，F表示图像特征。4.根据权利要求1所述的方法，其中，物体的独立特征生成过程具有以下特征：物体特征由多个层次不同尺度的特征经融合形成：其中，H
o
为不同层次的独立特征，n为层次数，为向量加运算，O表示独立特征H的层次数...

【专利技术属性】
技术研发人员：李甲，陈程，赵一凡，赵沁平，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：