多标签图像分类方法和装置制造方法及图纸

本公开实施例提供一种多标签图像分类方法和装置

【技术实现步骤摘要】
多标签图像分类方法和装置、用于图像分类的神经网络


[0001]本公开涉及计算机视觉
，尤其涉及多标签图像分类方法和装置
、
用于图像分类的神经网络
。

技术介绍

[0002]多标签图像分类需要对一张图像中的多个物体
、
属性或者行为动作进行分类，是计算机视觉中重要的分类任务
。
相关技术中通常采用卷积神经网络进行特征提取，再将提取的特征输入多标签分类头进行分类
。
然而，卷积神经网络无法提取出各个标签与图像区域之间的关系，导致分类准确度较低
。

技术实现思路

[0003]根据本公开实施例的第一方面，提供一种多标签图像分类方法，所述方法包括：获取目标图像；确定多个源节点和多个目的节点，所述多个源节点包括多个块节点，各个块节点用于表示目标图像的多个不同图像块中的各个图像块的特征向量，所述多个目的节点包括所述多个块节点和多个标签节点，各个所述标签节点用于表示多个不同的目标标签中的各个目标标签的标签向量；对于所述多个目的节点中的每一个目的节点，基于目的节点与各个源节点之间的相似度，从所述多个源节点中确定该目的节点的邻居节点，并基于所述邻居节点对该目的节点进行更新；基于更新后的各个所述目的节点，从所述多个不同的目标标签中确定所述目标图像对应的类别标签
。
[0004]根据本公开实施例的第二方面，提供一种用于图像分类的神经网络，包括：特征提取网络，用于获取目标图像，确定多个源节点和多个目的节点，所述多个源节点包括多个块节点，各个块节点用于表示目标图像的多个不同图像块中的各个图像块的特征向量，所述多个目的节点包括所述多个块节点和多个标签节点，各个所述标签节点用于表示多个不同的目标标签中的各个目标标签的标签向量；对于所述多个目的节点中的每一个目的节点，基于目的节点与各个源节点之间的相似度，从所述多个源节点中确定该目的节点的邻居节点，并基于所述邻居节点对该目的节点进行更新；分类网络，用于基于更新后的各个所述目的节点，从所述多个不同的目标标签中确定所述目标图像对应的类别标签
。
[0005]根据本公开实施例的第三方面，提供一种多标签图像分类装置，所述装置包括：获取模块，用于获取目标图像；第一确定模块，用于确定多个源节点和多个目的节点，所述多个源节点包括多个块节点，各个块节点用于表示目标图像的多个不同图像块中的各个图像块的特征向量，所述多个目的节点包括所述多个块节点和多个标签节点，各个所述标签节点用于表示多个不同的目标标签中的各个目标标签的标签向量；第二确定模块，用于对于所述多个目的节点中的每一个目的节点，基于目的节点与各个源节点之间的相似度，从所述多个源节点中确定该目的节点的邻居节点，并基于所述邻居节点对该目的节点进行更新；分类模块，用于基于更新后的各个所述目的节点，从所述多个不同的目标标签中确定所述目标图像对应的类别标签
。
[0006]根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的方法
。
[0007]根据本公开实施例的第五方面，提供一种计算机设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现任一实施例所述的方法
。
[0008]本公开实施例通过获取多个源节点和多个目的节点，并基于目的节点与各个源节点之间的相似度从多个源节点中确定该目的节点的邻居节点，从而构建包括源节点和目的节点的图网络
。
由于源节点包括多个块节点，目的节点包括多个块节点和多个标签节点，因此，在基于目的节点的邻居节点对该目的节点进行更新时，既能够将块节点对应的各个邻居节点所对应的图像块的特征信息传递给该块节点，从而提取出了目标图像的不同图像块之间的关系；又能够将标签节点对应的各个邻居节点所对应的图像块的特征信息传递给该标签节点，从而提取出了图像块与目标标签之间的关系
。
因此，基于更新后的各个目的节点能够准确地确定出目标图像对应的类别标签，提高了多标签图像分类的准确度
。
[0009]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开
。
附图说明
[0010]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案
。
[0011]图1是本公开实施例的多标签图像分类的应用场景的示意图
。
[0012]图2是本公开实施例的多标签图像分类方法的流程图
。
[0013]图3是本公开实施例的确定目的节点的邻居节点的过程的示意图
。
[0014]图4是本公开实施例的用于图像分类的神经网络中单个子网络的示意图
。
[0015]图5是本公开实施例的多标签图像分类过程的总体流程图
。
[0016]图6是本公开实施例的多标签图像分类装置的框图
。
[0017]图7是本公开实施例的计算机设备的结构示意图
。
具体实施方式
[0018]这里将详细地对示例性实施例进行说明，其示例表示在附图中
。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素
。
以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式
。
相反，它们仅是与如所附权利要求书中所详述的
、
本公开的一些方面相一致的装置和方法的例子
。
[0019]在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开
。
在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义
。
还应当理解，本文中使用的术语“和
/
或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合
。
另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合
。
[0020]应当理解，尽管在本公开可能采用术语第一
、
第二
、
第三等来描述各种信息，但这些信息不应限于这些术语
。
这些术语仅用来将同一类型的信息彼此区分开
。
例如，在不脱离
本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息
。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0021]为了使本
的人员更好的理解本公开实施例中的技术方案，并使本公开实施例的上述目的
、
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多标签图像分类方法，其特征在于，所述方法包括：获取目标图像；确定多个源节点和多个目的节点，所述多个源节点包括多个块节点，各个块节点用于表示目标图像的多个不同图像块中的各个图像块的特征向量，所述多个目的节点包括所述多个块节点和多个标签节点，各个所述标签节点用于表示多个不同的目标标签中的各个目标标签的标签向量；对于所述多个目的节点中的每一个目的节点，基于目的节点与各个源节点之间的相似度，从所述多个源节点中确定该目的节点的邻居节点，并基于所述邻居节点对该目的节点进行更新；基于更新后的各个所述目的节点，从所述多个不同的目标标签中确定所述目标图像对应的类别标签
。2.
根据权利要求1所述的方法，其特征在于，所述基于目的节点与各个源节点之间的相似度，从所述多个源节点中确定该目的节点的邻居节点，包括：对每一个所述目的节点进行分裂，得到所述目的节点的多个子目的节点，所述目的节点的多个不同子目的节点分别基于所述目的节点所表示的特征向量或标签向量在各个维度的元素得到；对每一个所述源节点进行分裂，得到该源节点的多个子源节点，所述源节点的多个不同的子源节点分别基于所述源节点所表示的特征向量在各个维度的元素得到；将所述多个目的节点中每个目的节点的多个子目的节点和所述多个源节点中每个源节点的多个子源节点进行分组，同一分组中的各个子目的节点和该分组中的各个子源节点均对应于相同的维度；对每个分组中的任一子目的节点，基于所述子目的节点与所在的目标分组中各个子源节点之间的相似度，从所述目标分组中的各个子源节点中确定所述子目的节点的预设数量个邻居子节点；基于同一目的节点的各个子目的节点的邻居子节点所属的源节点确定所述目的节点的邻居节点
。3.
根据权利要求2所述的方法，其特征在于，所述基于所述邻居节点对该目的节点进行更新，包括：基于所述目的节点的每一子目的节点与所述子目的节点的邻居子节点所表示的特征向量或标签向量在对应维度上的特征之间的最大差值，得到所述每一子目的节点对应的最大特征差；对所述目的节点以及所述目的节点的各个子目的节点对应的最大特征差进行拼接后进行线性处理，并基于线性处理的结果，对所述目的节点进行更新
。4.
根据权利要求1至3任一项所述的方法，其特征在于，所述方法由用于图像分类的神经网络执行，所述神经网络包括串联的多个子网络；所述确定多个源节点和多个目的节点，包括：确定输入所述多个子网络中每个子网络的源节点和目的节点；所述基于目的节点与各个源节点之间的相似度，从所述多个源节点中确定该目的节点的邻居节点，并基于所述邻居节点对该目的节点进行更新，包括：
针对所述多个子网络中的每个子网络，基于输入所述子网络的源节点与输入所述子网络的目的节点之间的相似度确定输入所述子网络的每个目的节点的邻居节点；基于输入所述子网络的每个目的节点的邻居节点对输入所述子网络的每个目的节点进行更新；将所述子网络的更新后的各个目的节点输出至下一子网络；其中，最后一个子网络的更新后的目的节点用于确定所述目标图像对应的类别标签
。5.
根据权利要求4所述的方法，其特征在于，在将所述子网络的更新后的各个目的节点输出至下一子网络之前，所述方法包括：对所述子网络的各个源...

【专利技术属性】
技术研发人员：姚锐杰，金晟，刘文韬，钱晨，
申请(专利权)人：商汤人工智能研究中心深圳有限公司，
类型：发明
国别省市：