基于对比学习与不变因果性的可泛化图像分类方法及装置制造方法及图纸

本发明专利技术提供了一种基于对比学习与不变因果性的可泛化图像分类方法及装置。该方法包括：从多个环境中采集不同的图像构建多个源域用于训练；构建全局特征队列来存储先前提取过的特征，利用对比学习来学习输入样本和对应正样本之间的相似度；使用对比相似度来量化图像特征之间的因果关系；训练分类器根据该特征预测标签，并选取下一个不同的源域抽取样本进行训练；完成训练后直接将待预测样本输入特征提取器提取特征，并利用该特征直接预测标签。本发明专利技术可以使用多个不同源域的数据进行训练得到符合因果关系且可泛化的模型参数，对分布与训练数据有显著差异的目标数据上有稳定且出色的预测结果，解决训练数据有限且目标数据与训练数据分布有显著差别的情况。训练数据分布有显著差别的情况。训练数据分布有显著差别的情况。

【技术实现步骤摘要】
基于对比学习与不变因果性的可泛化图像分类方法及装置


[0001]本专利技术涉及计算机视觉处理领域，尤其涉及一种基于对比学习与不变因果性指引的可泛化图像分类方法。

技术介绍

[0002]领域泛化(Domain Generalization)是指在一个新的领域中，能够保持模型在已有领域中的学习能力和性能的能力。在现实生活中，本专利技术面对的问题往往来自不同的领域。如果一个模型只能在特定领域的数据上表现良好，那么这个模型的实用性就受到了限制。领域泛化能够让模型在不同的领域数据上都表现良好，从而提高了模型的适用性。在数据方面，训练一个模型需要大量的数据，而且这些数据需要来自于不同的领域。如果一个模型只能在特定领域的数据上表现良好，那么为了训练这个模型，本专利技术需要收集大量来自于这个领域的数据。领域泛化能够让模型在不同领域的数据上都表现良好，从而减少了数据收集的成本。在模型部署方面，如果一个模型只能在特定领域的数据上表现良好，那么每次遇到新的问题都需要重新训练一个新的模型。领域泛化能够让模型在不同领域的数据上都表现良好，从而加快了模型的部署速度。对人工智能而言，领域泛化是人工智能领域的一个重要研究方向。通过研究领域泛化，本专利技术能够更好地了解人工智能的本质，并且能够提出更加先进的算法和模型。
[0003]在图像处理任务中，领域泛化是一个非常重要的问题，因为实际应用中，模型会受到如下几种挑战：(1)域偏移：不同领域中的数据分布存在差异，导致训练的模型难以泛化到其他领域；(2)样本稀缺：对于某些领域，由于种种原因(例如难以采集，标注成本高等)，数据集较小或样本稀疏，这会导致模型难以学习到泛化性的特征；(3)特征变化：由于数据在不同领域中的特征分布不同，模型需要能够适应这些特征变化，以获得更好的泛化性能。因此在图像处理任务中，学习到具有泛化能力的模型十分重要。
[0004]领域泛化的技术背景可以归结为以下几个方面：(1)统计学习理论：领域泛化技术的理论基础是统计学习理论，它为模型选择、评估和泛化提供了一套完整的理论体系。(2)机器学习算法：领域泛化技术需要结合各种机器学习算法进行实现。例如，深度神经网络在图像、语音、自然语言处理等领域中取得了很好的效果，因此它被广泛应用于领域泛化任务中。(3)数据增强技术：数据增强技术可以通过对原始数据进行变换、扩增等操作，从而增加训练数据集的规模和多样性，提高模型的泛化能力。(4)迁移学习技术：迁移学习技术可以通过利用已有的相关知识和经验，帮助模型在新领域中更快、更好地适应新的任务。(5)对抗训练技术：对抗训练技术可以通过向模型中注入对抗样本的方式，提高模型的鲁棒性和泛化能力。总之，领域泛化技术需要结合多种技术手段进行实现，它们的目标都是提高模型的泛化性能，从而让机器学习算法在新领域中发挥更好的作用。

技术实现思路

[0005]本专利技术的目的是克服现有技术的不足，提供一种基于对比学习与不变因果性指引
的可泛化图像分类方法。
[0006]本专利技术的专利技术构思是：从真实世界中多个不同风格的环境中，随机抽取若干不同类别的图片组成训练数据；本专利技术将相同风格的数据定义为一个的源域。在不同的域中，图像的类别及类别的数目相同。使用这些样本训练，训练特征提取器提取符合因果关系的特征，本专利技术将其定义为因果特征。同时训练一个特征分类器适用因果特征预测其对应的标签。在训练的过程中，本专利技术使用对比学习的方法，增强不同域之间同类特征之间的因果特征的相似度。将这种相似度定义为对比相似度，并使用其量化特征之间的因果关系。基于对比相似度，本专利技术使用前门调整的因果方法，估计出图像到特征到标签的因果效应。根据图像到正确标签的因果效应的数值，本专利技术可以判断提取的特征是否符合因果关系，并对特征提取器和特征分类器模型进行优化。在目标域中，本专利技术直接将图像输入模型当中即可得到预测标签，实现端到端的图像分类结果。
[0007]为实现上述专利技术目的，本专利技术具体采用的技术方案如下：
[0008]第一方面，本专利技术提供了一种基于对比学习与不变因果性的可泛化图像分类方法，其包括如下步骤：
[0009]S1：从多领域图像数据集中选择一个源域，并从该源域的图像数据集中采集一批包含不同图像类别的样本，并对所有样本进行数据增强，形成用于训练的批量数据；所述多领域图像数据集中包含从多个环境中采集的图像，且来源于相同环境的图像划分在同一个源域中；
[0010]S2：将S1中采集的批量数据同时输入第一编码器F和第二编码器F
′
进行特征提取，并根据存储有先前已提取特征的全局特征队列，将全局特征队列中与输入样本属于相同类别的特征作为正样本，利用对比学习来学习输入样本和对应正样本之间的对比相似度，计算对比相似度损失；
[0011]S3：以S2中计算得到的对比相似度来量化图像特征之间的因果关系，从而使用前门调整公式基于对比相似度来量化图像到特征再到标签的因果效应，并得到基于因果效应预测的标签，进而计算前门调整约束损失，用于指导第一编码器学习提取对正确标签因果效应最大的特征；
[0012]S4：将第一编码器输出的特征输入分类器，根据该特征预测图像的类别标签，并计算分类损失；
[0013]S5、以所述对比相似度损失、前门调整约束损失和分类损失的加权和作为总损失函数，对第一编码器F和分类器进行参数更新；并在完成一个轮次的训练之后，利用第二编码器F
′
新提取的特征对全局特征队列以先入先出的方式进行更新；同时利用第一编码器F的更新后参数对第二编码器F
′
的参数进行动量更新；
[0014]S6：不断迭代执行S1～S5，选取不同的源域抽取样本进行训练；训练完毕之后，将待预测图像样本输入由第二编码器F
′
和分类器组成的分类模型预测分类标签，完成端到端的图像分类任务。
[0015]在上述方案基础上，各步骤可以采用如下优选的具体方式实现。
[0016]作为优选，所述S1中，所述多领域图像数据集由来源于K个不同来源的图像样本构建而成，每个来源定义为源域D
k
，在每个源域中均有C个不同的图像类别。
[0017]作为优选，所述S1中，对一个采样批次的所有样本进行数据增强形成批量数据的
方法如下：
[0018]S101：将从源域D
k
中随机抽取的N个图像样本组成一组采样图像集合；
[0019]S102：对每个采样图像进行随机中心裁剪，得到尺寸一致的裁剪后图像；
[0020]S103：对每张裁剪后图像进行随机水平翻转，统一图像的各项属性数值，再进行随机灰度化，最后将图像转换为张量格式并进行正则化处理；
[0021]S104：将每张正则化处理后的图像x
i
的类别标签重新编码为索引值y
i
，从而构建成用于进行训练的批量数据B，批量数据B中每个训练样本表示为二元组b
i
＝(x
i
，y
i
)。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习与不变因果性的可泛化图像分类方法，其特征在于，包括如下步骤：S1：从多领域图像数据集中选择一个源域，并从该源域的图像数据集中采集一批包含不同图像类别的样本，并对所有样本进行数据增强，形成用于训练的批量数据；所述多领域图像数据集中包含从多个环境中采集的图像，且来源于相同环境的图像划分在同一个源域中；S2：将S1中采集的批量数据同时输入第一编码器F和第二编码器F
′
进行特征提取，并根据存储有先前已提取特征的全局特征队列，将全局特征队列中与输入样本属于相同类别的特征作为正样本，利用对比学习来学习输入样本和对应正样本之间的对比相似度，计算对比相似度损失；S3：以S2中计算得到的对比相似度来量化图像特征之间的因果关系，从而使用前门调整公式基于对比相似度来量化图像到特征再到标签的因果效应，并得到基于因果效应预测的标签，进而计算前门调整约束损失，用于指导第一编码器学习提取对正确标签因果效应最大的特征；S4：将第一编码器输出的特征输入分类器，根据该特征预测图像的类别标签，并计算分类损失；S5：以所述对比相似度损失、前门调整约束损失和分类损失的加权和作为总损失函数，对第一编码器F和分类器进行参数更新；并在完成一个轮次的训练之后，利用第二编码器F
′
新提取的特征对全局特征队列以先入先出的方式进行更新；同时利用第一编码器F的更新后参数对第二编码器F
′
的参数进行动量更新；S6：不断迭代执行S1～S5，选取不同的源域抽取样本进行训练；训练完毕之后，将待预测图像样本输入由第二编码器F
′
和分类器组成的分类模型预测分类标签，完成端到端的图像分类任务。2.如权利要求1所述的基于对比学习与不变因果性的可泛化图像分类方法，其特征在于，所述S1中，所述多领域图像数据集由来源于K个不同来源的图像样本构建而成，每个来源定义为源域D
k
，在每个源域中均有C个不同的图像类别。3.如权利要求1所述的基于对比学习与不变因果性的可泛化图像分类方法，其特征在于，所述S1中，对一个采样批次的所有样本进行数据增强形成批量数据的方法如下：S101：将从一个源域中随机抽取的N个图像样本组成一组采样图像集合；S102：对每个采样图像进行随机中心裁剪，得到尺寸一致的裁剪后图像；S103：对每张裁剪后图像进行随机水平翻转，统一图像的各项属性数值，再进行随机灰度化，最后将图像转换为张量格式并进行正则化处理；S104：将每张正则化处理后的图像x
i
的类别标签重新编码为索引值y
i
，从而构建成用于进行训练的批量数据B，批量数据B中每个训练样本表示为二元组b
i
＝(x
i
,y
i
)。4.如权利要求3所述的基于对比学习与不变因果性的可泛化图像分类方法，其特征在于，所述S2的具体步骤包括：S201：从内存中获取当前最新的全局特征队列Q；所述全局特征队列Q为一个长度为L＝K
×
N
×
4，维度为d的队列，队列中按序存储有在当前时刻前已经提取过的特征；全局特征队列Q在第一轮训练开始之前使用标准正态分布进行随机初始化；
S202：将批量数据B同时输入结构相同的第一编码器F和第二编码器F
′
中进行提取特征，每个图像x
i
由第一编码器F和第二编码器F
′
分别提取得到特征z和z
′
，由所有的特征z和所有的z
′
分别构成特征集合Z和Z
′
；S203：根据批量数据B中每个图像x
i

【专利技术属性】
技术研发人员：况琨，苗乔伟，袁俊坤，吴飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：