多标签识别的类别自适应标签发现与噪声拒绝方法及设备技术

本发明专利技术涉及图像分类的技术领域，具体涉及多标签识别的类别自适应标签发现与噪声拒绝方法及设备，包括：S10，将样本集中的每个样本图像与标签向量相关联；S20，提取样本的全局特征；S30，基于样本的全局特征、样本的标签向量，获得样本中每个类别的语义表示；S40，计算每个类别的样本之间的语义相似度，并基于语义相似度生成伪标签向量；S50，基于每个类别的样本之间的语义相似，计算样本的每个类别权重；并根据类别权重，自适应地丢弃作为噪声标签的低权重样本；S60，构建基于标签向量、伪标签向量、样本类别权重的目标函数；S70，通过目标函数对样本集进行训练，得到多标签识别模型；具有性能高的有益效果。高的有益效果。高的有益效果。

【技术实现步骤摘要】
多标签识别的类别自适应标签发现与噪声拒绝方法及设备


[0001]本专利技术涉及图像分类的
，具体涉及多标签识别的类别自适应标签发现与噪声拒绝方法及设备。

技术介绍

[0002]目前，多标签图像识别(MLR)算法主要依赖于收集大规模干净、完整的仿真标签数据集，当数据集中的类别和图像数量增加时，不仅耗时，且成本昂贵。
[0003]为此，有学者开展了弱监督多标签图像识别(WSMLR)的研究，然而，在WSMLR的不同设置中，仅标注了几个正标签的设置，每个图像缺少其他标签，即，具有部分正标签的多标签识别(MLR
‑
PPL)；MLR
‑
PPL任务存在着：失去大量监督信号的问题和缺乏任何负标签的困境，导致模型总是预测正标签。
[0004]针对上述问题，主流的解决算法包括：
[0005](1)利用算法或视觉注意机制来捕获有区别的局部区域以进行特征增强；或通过捕获标签依赖性，以规范训练多标签识别模型。
[0006]这种方法引入了结构化图来明确地建模标签相关性，以促进多标签图像识别；然而，这类解决方法始终依赖于收集大规模的干净和完整的多标签数据集来学习区分性特征表示，耗时且昂贵，特别是当数据集中类别和图像的数量增加时。
[0007](2)将训练方式设为学习带有部分正标签的多标签识别模型，即仅对一些正标签进行标注。
[0008]其中一种方法提出：用假设负(AN)来训练模型，所有未标记的标签都被视为负；其中第二种方法提出：通过探索标签依赖性来纠正错误标注的标签。除了上述两种方法外，一些其他方法还建议：根据预测分数调整每个标注的权重或纠正错误的标签；具体是：训练带有部分标签的模型，并采用课程学习方法，使用模型预测标记一些未标注的简单样本；
[0009]然而，上述技术仍然依赖于大量标注的正标签进行图像或相似模型训练，当已知的正标签比例降至较低水平时，这会导致较差的性能。

技术实现思路

[0010]有鉴于此，有必要针对的问题，本申请提供了一种多标签识别的类别自适应标签发现与噪声拒绝方法及设备。
[0011]第一方面，本公开提供了多标签识别的类别自适应标签发现与噪声拒绝方法，包括：
[0012]S10，将样本集中的每个样本图像与标签向量相关联；
[0013]S20，提取样本的全局特征；
[0014]S30，基于样本的全局特征、样本的标签向量，获得样本中每个类别的语义表示；
[0015]S40，计算每个类别的样本之间的语义相似度，并基于语义相似度生成伪标签向量；
[0016]S50，基于每个类别的样本之间的语义相似，计算样本的每个类别权重；并根据类别权重，自适应地丢弃作为噪声标签的低权重样本；
[0017]S60，构建基于标签向量、伪标签向量、样本类别权重的目标函数；
[0018]S70，通过目标函数对样本集进行训练，得到多标签识别模型。
[0019]第二方面，本公开提供了一种电子设备，包括：
[0020]存储器；
[0021]处理器；以及
[0022]计算机程序；
[0023]其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上所述的方法。
[0024]第三方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序；所述计算机程序被处理器执行以实现如上所述的方法。
[0025]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解
[0026]采用本公开中提供的多标签识别的类别自适应标签发现与噪声拒绝方法及设备，与现有技术相比的技术效果为：
[0027]1、本公开能够基于样本的全局特征、样本的类别标签，获得样本中每个类别的语义表示；通过计算每个类别的样本之间的语义相似度，生成伪标签向量；并基于每个类别的样本之间的语义相似，计算样本的每个类别权重；并根据类别权重，自适应地丢弃作为噪声标签的低权重样本；
[0028]基于此，本公开构建基于部分正标签向量、伪标签向量、样本权重的目标函数；通过目标函数对样本集进行训练，得到多标签识别模型；
[0029]本公开通过类别的跨图像语义关联，以补充未知标签并丢弃有噪标签，能够有效提高多标签识别模型的性能，实用性极强。
[0030]2、本公开中，设置了类别自适应阈值更新，以自适应地调整每个类别的阈值，避免了极其耗时和费力的手动调整。
附图说明
[0031]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0032]图1为本申请实施例提供的多标签识别的类别自适应标签发现与噪声拒绝方法的流程示意图；
[0033]图2为本申请实施例提供的多标签识别的类别自适应标签发现与噪声拒绝方法的实现过程示意图；
[0034]图3为本申请实施例提供的类别自适应标签(CALD)模块的实现过程示意图；
[0035]图4为本申请实施例提供的类别自适应噪声拒绝(CANR)模块的实现过程示意图。
具体实施方式
[0036]为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请
的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0037]下面结合附图详细介绍本公开实施例提及的标签识别的类别自适应标签发现与噪声拒绝方法及设备。
[0038]参阅图1、图2，多标签识别的类别自适应标签发现与噪声拒绝方法，包括：
[0039]S10，将样本集中的每个样本图像与标签向量相关联；
[0040]S20，提取样本的全局特征；
[0041]S30，基于样本的全局特征、样本的标签向量，获得样本中每个类别的语义表示；
[0042]S40，计算每个类别的样本之间的语义相似度，并基于语义相似度生成伪标签向量；
[0043]S50，基于每个类别的样本之间的语义相似，计算样本的每个类别权重；并根据类别权重，自适应地丢弃作为噪声标签的低权重样本；
[0044]S60，构建基于标签向量、伪标签向量、样本类别权重的目标函数；
[0045]S70，通过目标函数对样本集进行训练，得到多标签识别模型。
[0046]示例性地，所述S10中，样本集中的每个样本与类别标签相关联的表达式为：
[0047][0048]其中，N表示样本总数；y
n
表示标签向量；
[0049]标签向量y
n
的表达式为：
[0050]对于样本I
n
,若存在标签c,则赋值为1，如果不存在，则赋值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.多标签识别的类别自适应标签发现与噪声拒绝方法，其特征在于，包括：S10，将样本集中的每个样本图像与标签向量相关联；S20，提取样本的全局特征；S30，基于样本的全局特征、样本的标签向量，获得样本中每个类别的语义表示；S40，计算每个类别的样本之间的语义相似度，并基于语义相似度生成伪标签向量；S50，基于每个类别的样本之间的语义相似，计算样本的每个类别权重；并根据类别权重，自适应地丢弃作为噪声标签的低权重样本；S60，构建基于标签向量、伪标签向量、样本类别权重的目标函数；S70，通过目标函数对样本集进行训练，得到多标签识别模型。2.根据权利要求1所述的多标签识别的类别自适应标签发现与噪声拒绝方法，其特征在于，所述S10中，每个样本图像与标签向量相关联的表达式为：其中，N表示样本总数；y
n
表示标签向量；标签向量y
n
的表达式为：C表示类别总数；对于样本I
n
,若存在标签c,则赋值为1，如果不存在，则赋值为0。3.根据权利要求2所述的多标签识别的类别自适应标签发现与噪声拒绝方法，其特征在于，所述S30中，样本中每个类别的语义表示的表达为:式(1)中,表示样本I
n
的类别c的语义表示，f
n
表示样本I
n
的全局特征,u
c
表示类别c的语义嵌入,φ
cssl
·
表示类别特定语义学习函数；c∈1,2,3
…
,C；样本I
n
所有类别的语义表示的集合为：4.根据权利要求3所述的多标签识别的类别自适应标签发现与噪声拒绝方法，其特征在于，所述S40，包括：S401，计算每个类别的样本I
n
、样本I
m
之间的语义相似度；计算表达式为：其中，表示样本I
n
、样本I
m
中类别c之间的语义相似度，
·
,
·
表示两个向量的内积，
·2表示向量的L2范数；S402，计算样本之间的平均正向语义相似度；包括：构造正样本队列且以使每个样本中均具有正标签；则，样本之间的平均正向语义相似度的表达式为：
其中，表示样本I
n
的类别c与其它样本的类别c之间的平均正向语义相似度；S403，计算样本I
n
对应的伪标签向量包括：样本I
n
的类别c的伪标签的表达式为：标签向量的表达式为：其中，表示类别c的调整阈值；1
·
表示指标函数，若指标函数的参数...

【专利技术属性】
技术研发人员：龚科，吴博文，吴贺丰，蒲韬，
申请(专利权)人：拓元广州智慧科技有限公司，
类型：发明
国别省市：