一种基于实例依赖互补标签学习的图像分类方法技术

本发明专利技术公开了一种基于实例依赖互补标签学习的图像分类方法，包括：在骨干网络之上构建转移矩阵网络和分类器网络，用于估计实例的互补标签转移矩阵和预测实例的真实类别；将实例特征嵌入为指定维度的特征向量，并以特征向量的欧式距离为度量挖掘实例的近邻；结合互补标注分类和语义聚类训练分类器网络，估计实例的真实类后验概率，选取概率前1％大的实例作为近似锚点对转移矩阵网络进行初始化；引入约束——“特征空间上邻近的实例具有更相似的互补标签转移矩阵”——来限制转移矩阵的自由度，并构建端到端的联合训练框架协同优化转移矩阵网络和分类器网络的参数，将优化后的分类器网络作为最终的预测网络，实现基于实例依赖互补标签学习的图像分类。互补标签学习的图像分类。互补标签学习的图像分类。

【技术实现步骤摘要】
一种基于实例依赖互补标签学习的图像分类方法


[0001]本专利技术属于弱监督学习、图像分类领域，特别涉及一种基于实例依赖互补标签学习的图像分类方法。

技术介绍

[0002]随着深度学习的蓬勃发展，深度神经网络在多个图像分类任务上都取得了超越传统方法的结果。深度学习的成功依赖于大量精确标注的图像数据，然而在现实场景中，受限于专家标注成本和隐私数据保护等情况，大量的精确标注数据通常难以获取。针对以上问题，近年来，一种名为互补标签学习的弱监督学习方法被提出并广泛应用于图像分类，医疗图像诊断和问卷调查等领域。互补标签表示实例所不属于类别的标签，相比于深度学习需要从大量标签中精确的选取唯一正确的标签，互补标签更容易获取且具有隐私安全的优点，这极大程度地改善了在图像分类任务中深度学习所面临的困境。通过互补标签学习，可以从仅有互补标注的数据集中训练得到能够预测实例真实类别标签的分类器。
[0003]在互补标签学习中，互补标签转移矩阵对于构建统计一致的多类别分类器至关重要，其表示了实例的真实类后验概率和互补类后验概率之间的转换关系。现有的互补标签学习技术假设互补标签的生成仅依赖于实例的真实类别标签，然而在现实图像分类任务中，同一类别的图像实例之间也存在较大的特征差异，因此互补标签的标注过程同时依赖于实例的特征信息。由于未考虑互补标签与实例特征之间的关系，现有的互补标签学习技术缺乏实用性。在实例依赖设置下，不同的图像实例具有不同的转移矩阵，在没有任何额外约束的情况下，实例依赖互补标签转移矩阵是不可辨识的，具体地，转移矩阵的可行解不唯一。因此，如何在实例依赖的设置下准确估计互补标签转移矩阵进而构建可信的图像分类器仍是一个困难而又亟待解决的问题。
[0004]基于实例依赖互补标签学习的图像分类问题的相关技术方案，涉及的文献和专利技术专利有：
[0005]文献1：一种针对不确定性标记数据的医学图像分类方法(202110203910.X)
[0006]文献2：一种基于流形正则化转移矩阵的标签噪声估计方法(202210192794.0)
[0007]文献1针对多个标注者对于医学图像实例的不同标注结果构建深度学习模型，利用一致标注数据及正向类别标签训练分类器网络，而利用不一致数据及其互补标签训练反事实网络，然后构建反注意力机制模块将学习到的反事实信息辅助分类器网络的学习，最后将训练完成的分类器网络作为预测网络，对医学图像实例的真实类别进行预测。
[0008]文献2首先预训练第一网络对图像数据集进行蒸馏，将第一网络输出的图像实例所属类别概率大于概率阈值的可信实例组成子数据集；之后将获得的子数据集输入至第二网络，得到子数据集中图像实例所属类别的概率和实例依赖的噪声标签转移矩阵，根据实例的类别标签计算第二网络的交叉熵损失函数，并为子数据集中的近邻实例构建实例属于相同流形(实例的类别标签相同)的关联矩阵和实例属于不同流形(实例的类别标签不同)的惩罚矩阵，基于两种矩阵构建流形正则化损失函数来对噪声标签转移矩阵进行约束；最
后通过减小上述两个损失函数对第二网络进行训练，进而使用训练好的第二网络完成图像实例的分类任务。
[0009]以上的文献主要存在如下的问题：文献1所提出的算法需要多个标注者对图像数据集进行标注，并利用不一致标注数据及互补标签辅助分类网络的训练，该方法未考虑互补标签与实例的特征和真实类别之间的依赖关系，仅简单地认为互补标签的转移概率是均匀分布的，与实际应用场景不符，这使得该方法缺乏实用性；文献2基于标签噪声学习，利用蒸馏出的真实类后验概率大于概率阈值的可信子数据集对深度神经网络进行训练，为了降低实例依赖噪声标签转移矩阵的自由度，该方法基于子数据集中图像实例所属的类别为近邻间实例构建了关联矩阵和惩罚矩阵，来作为转移矩阵的约束条件，然而相比于标签噪声学习，互补标签携带的监督信息更弱，网络对于互补标注实例的类后验概率的估计误差更大，仅根据类后验概率与阈值的关系难以得到可信的子数据集，因此根据子数据集中图像实例所属的类别构建流形正则化损失函数对互补标签转移矩阵进行约束会导致较大的矩阵估计误差，这使得该方法难以适用于互补标签学习。因此，如何引入合理的约束来降低实例依赖互补标签转移矩阵的估计误差仍是一个亟待解决的问题。

技术实现思路

[0010]为了解决现有技术方案存在的不足，本专利技术提供了一种基于实例依赖互补标签学习的图像分类方法。
[0011]本专利技术采用如下技术方案来实现的：
[0012]一种基于实例依赖互补标签学习的图像分类方法，包括：
[0013]首先，在骨干网络之上构建转移矩阵网络和分类器网络，用于估计实例的互补标签转移矩阵和预测实例的真实类别；其次，将实例特征嵌入为指定维度的特征向量，并以特征向量的欧式距离为度量挖掘实例的K近邻；再次，结合互补标注分类和语义聚类训练分类器网络，估计实例的真实类后验概率，选取概率前1％大的实例作为近似锚点对转移矩阵网络进行初始化；最后，引入约束——“特征空间上邻近的实例具有更相似的互补标签转移矩阵”——来限制转移矩阵的自由度，并构建端到端的联合训练框架协同优化转移矩阵网络和分类器网络的参数，将优化后的分类器网络作为最终的预测网络，实现基于实例依赖互补标签学习的图像分类。
[0014]本专利技术进一步的改进在于，该方法具体包括以下步骤：
[0015]1)转移矩阵网络和分类器网络的构建
[0016]根据训练集中图像实例的特征维度构建卷积神经网络作为骨干网络，用于提取不同图像实例的特征，之后根据分类任务的目标类别数，在骨干网络之上构建转移矩阵网络和分类器网络，分别用于估计实例的互补标签转移矩阵和预测实例的真实类别标签；
[0017]2)图像实例的特征向量提取与最近邻挖掘
[0018]基于骨干网络提取图像实例的特征，并将实例特征嵌入为指定维度的特征向量，之后以不同实例特征向量的欧式距离为度量挖掘实例的K近邻；
[0019]3)基于互补标注分类和语义聚类的近似锚点估计与转移矩阵网络初始化
[0020]基于图像实例在特征空间上的距离进行最近邻语义聚类，利用互补标签改进交叉熵损失函数来进行分类，结合互补标注分类和语义聚类对分类器网络进行训练，输出实例
的真实类后验概率，并提取各类别概率前1％大的实例作为近似锚点；之后，将骨干网络输出的近似锚点实例的特征向量作为转移矩阵网络的输入，输出对应的实例依赖互补标签转移矩阵，结合分类器预测的近似锚点的贝叶斯最优标签对实例的互补标签进行推导，根据推导的互补标签和真实的互补标签构建损失函数来初始化转移矩阵网络参数；
[0021]4)端到端的联合训练框架构建与图像实例真实类别预测
[0022]通过引入约束——“特征空间上邻近的实例具有更相似的互补标签转移矩阵”——来限制转移矩阵的可行解空间，并通过构建端到端的联合训练框架协同优化转移矩阵网络和分类器网络的参数；将图像实例的特征向量分别输入转移矩阵网络和分类器网络，并将输出的实例依赖互补标签转移矩阵和实例真实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于实例依赖互补标签学习的图像分类方法，其特征在于，包括：首先，在骨干网络之上构建转移矩阵网络和分类器网络，用于估计实例的互补标签转移矩阵和预测实例的真实类别；其次，将实例特征嵌入为指定维度的特征向量，并以特征向量的欧式距离为度量挖掘实例的K近邻；再次，结合互补标注分类和语义聚类训练分类器网络，估计实例的真实类后验概率，选取概率前1％大的实例作为近似锚点对转移矩阵网络进行初始化；最后，引入约束——“特征空间上邻近的实例具有更相似的互补标签转移矩阵”——来限制转移矩阵的自由度，并构建端到端的联合训练框架协同优化转移矩阵网络和分类器网络的参数，将优化后的分类器网络作为最终的预测网络，实现基于实例依赖互补标签学习的图像分类。2.根据权利要求1所述的一种基于实例依赖互补标签学习的图像分类方法，其特征在于，该方法具体包括以下步骤：1)转移矩阵网络和分类器网络的构建根据训练集中图像实例的特征维度构建卷积神经网络作为骨干网络，用于提取不同图像实例的特征，之后根据分类任务的目标类别数，在骨干网络之上构建转移矩阵网络和分类器网络，分别用于估计实例的互补标签转移矩阵和预测实例的真实类别标签；2)图像实例的特征向量提取与最近邻挖掘基于骨干网络提取图像实例的特征，并将实例特征嵌入为指定维度的特征向量，之后以不同实例特征向量的欧式距离为度量挖掘实例的K近邻；3)基于互补标注分类和语义聚类的近似锚点估计与转移矩阵网络初始化基于图像实例在特征空间上的距离进行最近邻语义聚类，利用互补标签改进交叉熵损失函数来进行分类，结合互补标注分类和语义聚类对分类器网络进行训练，输出实例的真实类后验概率，并提取各类别概率前1％大的实例作为近似锚点；之后，将骨干网络输出的近似锚点实例的特征向量作为转移矩阵网络的输入，输出对应的实例依赖互补标签转移矩阵，结合分类器预测的近似锚点的贝叶斯最优标签对实例的互补标签进行推导，根据推导的互补标签和真实的互补标签构建损失函数来初始化转移矩阵网络参数；4)端到端的联合训练框架构建与图像实例真实类别预测通过引入约束——“特征空间上邻近的实例具有更相似的互补标签转移矩阵”——来限制转移矩阵的可行解空间，并通过构建端到端的联合训练框架协同优化转移矩阵网络和分类器网络的参数；将图像实例的特征向量分别输入转移矩阵网络和分类器网络，并将输出的实例依赖互补标签转移矩阵和实例真实类后验概率与实例的互补标签相结合来构建交叉熵损失函数，通过减小损失函数值对网络的参数进行优化，将优化后的分类器网络作为最终的预测网络，实现对图像实例真实类别标签的预测。3.根据权利要求2所述的一种基于实例依赖互补标签学习的图像分类方法，其特征在于，步骤1)中，转移矩阵网络和分类器网络的构建，具体包括以下步骤：Step1：构建骨干网络构建卷积神经网络作为骨干网络，其共有输入层、卷积层、池化层和全连接层四层网络结构；第一层输入层进行图像实例特征映射，第二层卷积层进行特征挖掘和提取，第三层池化层对第二层的输出做最大池化max
‑
pooling，最后一层全连接层将上一层的输出映射为一个维的特征向量；
Step2：构建转移矩阵网络在骨干网络之上增加一个全连接层用于构建转移矩阵网络，假定图像分类任务的目标类别数为K，转移矩阵网络将骨干网络输出的d维的特征向量映射为一个K
×
K维的向量输出，之后再将输出的向量转换为K
×
K的矩阵，并对矩阵的各行做softmax运算，进行归一化处理，进而得到实例对应的互补标签转移矩阵；Step3：构建分类器网络在骨干网络之上增加一个全连接层用于构建分类器网络，分类器网络将骨干网络输出的d维的特征向量映射为一个K维的向量输出，并对此向量做softmax运算，进行归一化处理，进而得到对实例各类别后验概率的预测结果。4.根据权利要求3所述的一种基于实例依赖互补标签学习的图像分类方法，其特征在于，步骤2)中，图像实例的特征向量提取与最近邻挖掘：对骨干网络进行预训练以充分挖掘图像实例的特征信息，根据相似的图像实例具有相似特征表示的思想，使骨干网络对原实例和其数据增强输出相似的特征向量，用于提升网络的鲁棒性和特征挖掘能力，之后以特征向量间的欧式距离为度量挖掘图像实例的最近邻。5.根据权利要求4所述的一种基于实例依赖互补标签学习的图像分类方法，其特征在于，步骤2)中，具体的实施步骤如下所示：Step1：基于数据增强构造相似图像实例假定互补标注图像训练集为其中共有n个训练实例和K个实例类别，x
i
为训练集中任一图像实例，为实例x
i
对应的互补标签，对训练集中的图像实例x
i
使用数据增强技术来构造相似图像实例φ(x
i
)；Step2：骨干网络预训练为了充分挖掘图像实例的特征信息，通过学习同类实例之间的共同特征和区分非同类实例之间的差异的方法来对骨干网络进行预训练，使骨干网络对相似图像实例输出相似的特征向量，并使不同图像实例特征向量之间的距离尽可能远；假定骨干网络的参数为θ，将原实例x
i
和数据增强后的实例φ(x
i
)分别输入骨干网络映射得到特征向量g
θ
(x
i
)和g
θ
(φ(x
i
))，将通过最小化g
θ
(x
i
)和g
θ
(φ(x
i
))之间的距离来预训练骨干网络，训练目标的具体形式如下所示：其中，d(
·
，
·
)为欧式距离，g
θ
(x
i
)和g
θ
(φ(x
i
))为骨干网络输出的d维的特征向量；通过梯度下降的方法不断优化目标并通过BP算法反向传播，用于更新骨干网络的参数，实现骨干网络预训练；Step3：挖掘图像实例的最近邻选取正整数N，用于表示图像实例近邻的个数，根据骨干网络输出不同图像实例的特征向量间的欧式距离分别计算每个实例x
i
的N个最近邻组成最近邻集合6.根据权利要求5所述的一种基于实例依赖互补标签学习的图像分类方法，其特征在于，步骤3)中，基于互补标注分类和语义聚类的近似锚点估计与转移矩阵网络初始化：利用互补标签作为监督信息指导分类器网络对实例的真实类后验概率作出预测，并利用语义聚类加强网络输出的一致性和平滑性...

【专利技术属性】
技术研发人员：董博，吴雨萱，曹书植，王余蓝，阮建飞，赵锐，师斌，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：