一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法技术

本发明专利技术公开了一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，包括：针对一张待处理图像获取该待处理图像对应的领域泛化数据集；对领域泛化数据集中的文本进行文本解耦；对领域泛化数据集中的图像进行图像解耦；构建类中心存储器，利用类中心存储器得到领域相关的预测概率，通过计算得到领域无关的预测概率，对领域相关的预测概率和领域无关的预测概率进行加权求和得到待处理图像的总体类别的预测概率并输出。本发明专利技术构建了类中心存储器，得到领域相关的预测概率，将领域相关的预测概率与领域无关的预测概率相结合，得到总体的预测概率，极大地提高了待处理图像的总体类别的预测概率。

【技术实现步骤摘要】

本专利技术属于领域泛化预测图像分类的，具体涉及一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法。

技术介绍

1、大多数机器学习方法都建立在一个假设上，即训练和测试数据是独立同分布的。然而，在现实世界的情况下，这个假设并不总是成立，训练数据和测试数据之间经常发生分布偏移。因此，提出了领域泛化任务，旨在使用有限的源域数据进行训练，学习一个泛化模型，能够在未见过的目标域上表现良好。dg(domain generalization，领域泛化)一直是机器学习领域的一个重要议题，并吸引了相当大的关注。

2、领域泛化的主要挑战是学习一个具有良好泛化能力的模型，能够从源域数据集中提取领域不变的表示。幸运的是，最新的研究表明，大规模预训练模型可以极大地增强领域泛化能力。特别是针对预训练的视觉-语言模型(visual foundation models，vfm)，它们利用大规模的图像和文本进行训练，以获得强健的视觉表示，这本质上富含先验知识的语义信息。因此，这样的vfm能够编码视觉描述的语义含义，而不受图像领域的影响，这符合dg的目标，即在不同域之间学本文档来自技高网...

【技术保护点】

1.一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，其特征在于，包括：

2.根据权利要求1所述的一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，其特征在于，所述领域泛化数据集，包括：

3.根据权利要求2所述的一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，其特征在于，所述利用LLM模型分别生成每个类别标签对应的细粒度文本描述和每个领域标签对应的细粒度文本描述，包括：

4.根据权利要求3所述的一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，其特征在于，所述利用所述LLM模型对每个类别标签对应的细粒度...

【技术特征摘要】

1.一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，其特征在于，包括：

2.根据权利要求1所述的一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，其特征在于，所述领域泛化数据集，包括：

3.根据权利要求2所述的一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，其特征在于，所述利用llm模型分别生成每个类别标签对应的细粒度文本描述和每个领域标签对应的细粒度文本描述，包括：

4.根据权利要求3所述的一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，其特征在于，所述利用所述llm模型对每个类别标签对应的细粒度文本描述进行处理，得到每个类别标签对应的领域无关的文本描述；利用所述llm模型对每个领域标签对应的细粒度文本描述进行处理，得到每个领域标签对应的领域相关的文本描述，包括：

5.根据权利要求4所述的一种基于特征解耦和类中心匹配的领域泛化的图像类别预测处理方法，其特征在于，所述将预设的文本描述插入每个领域无关的文本描述和每个领域相关的文本描述，经过文本编码器得到所有领域无关的文本描述的领域无关的文本特征集合和所有领域相关的文本描述的领域相关的文本特征集合，包括：

6...

【专利技术属性】
技术研发人员：程德，许志鹏，王楠楠，方超伟，高新波，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：