基于零样本域适应的图像分类方法技术

本发明专利技术公开一种基于零样本域适应的图像分类方法，包括以下步骤：步骤1，获取图片数据集；步骤2，采用特征提取器G

【技术实现步骤摘要】
基于零样本域适应的图像分类方法


[0001]本专利技术属于零样本学习
，涉及一种基于零样本域适应的图像分类方法。

技术介绍

[0002]随着深度学习的出现，神经网络在图像分类、分割、对象检测等方面都取得了成功。同时凭借着大量有标签的数据和电脑算力的提高，神经网络的表现甚至已经远超人类。但是，在现实生活中却往往难以获得大量高质量的带标签的数据，这就造成了当应用在有少量甚至没有带标签的数据的场景时，区别于有大量带标签的数据的场景，其性能大幅下降，甚至完全不可用，例如将利用大量合成图像训练的场景分割模型应用在真实世界的少量图像上时表现很差。
[0003]为了解决训练后的模型只能应用于单一场景这一问题，迁移学习作为一种创新性的方法被提出。迁移学习主要解决当场景或任务转换时学习系统如何快速调整以适应的问题。当目标域与源域的数据分布不同但任务相同下的迁移学习就是“域自适应”。典型的域适应旨在从富含大量带标签的数据的源域学到的知识转移到同一标签空间中标签稀缺的目标域。同时，假如能够通过域适应不断调整模型参数以适应同一标签下的任何一个新域，那么该本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于零样本域适应的图像分类方法，其特征在于，包括以下步骤：步骤1，获取图片数据集；步骤2，采用特征提取器G
c
提取图像数据的语义特征，采用对抗学习方法对语义特征进行分解之后进行特征细化得到特征C；步骤3，采用特征提取器G
d
提取域特征，采用对抗学习的方法对域特征进行分解之后进行特征细化得到带注意力的特征f
M
；步骤4，对特征C和带注意力的特征f
M
进行矩阵相乘获得带有注意力的特定于域的特征f
r
；步骤5，利用最终获得的特征f
r
通过分类器C进行图像分类。2.如权利要求1所述的基于零样本域适应的图像分类方法，其特征在于，所述步骤2具体的为：步骤2.1，采用特征提取器G
d
提取域特征f
c
＝G
c
(x)；步骤2.2，采用对抗学习方法对语义特征进行分解从而得到域不变的语义特征f
c
；具体的为：构建域鉴别器D，采用对抗学习方法对鉴别器D和transformer网络结构的特征提取器G
c
进行对抗学习剔除域相关信息，从而得到域不变的语义特征f
c
，域鉴别器D由两层全连接层组成；首先域鉴别器D被要求辨别域标签来自于特征f
d
还是f
c
，域鉴别器的损失函数如下：，域鉴别器的损失函数如下：，域鉴别器的损失函数如下：，域鉴别器的损失函数如下：代表来自于特征f
d
的那一部分损失，代表来自于特征f
c
的那一部分损失，L
D
为总损失；与此同时特征提取器G
c
使用分类器C
r
和分类器C
ir
分别进行感兴趣任务ToI和无关任务IrT的训练，以保留f
c
中的语义信息，这通过最小化分类错误来实现，两个分类器都由一层全连接层构成，两个分类器的损失函数如下：器的损失函数如下：l(
·
)代表交叉熵损失，p
r
和p
ir
分别是感兴趣任务和无关任务的概率分布；步骤2.3域不变语义特征f
c
通过Conv卷积层得到特征C。3.如权利要求2所述的基于零样本域适应的图像分类方法，其特征在于，所述特征提取器G
c
采用transformer网络，特征提取的具体方法为：首先通过图像块嵌入模块对输入进来的图片进行分块处理，然后将划分后的图片块组合成序列，其次通过位置嵌入模块加入位置信息；将经过上一步后提取到的序列信息传入多头自注意力模块特征提取。4.如权利要求1所述的基于零样本域适应的图像分类方法，其特征在于，所述步骤3具体的为：步骤3.1，采用特征提取器G
d
...

【专利技术属性】
技术研发人员：刘龙，陈锦鑫，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：