一种基于联合学习与知识迁移的开放集图像分类方法技术

本发明专利技术公开了一种基于联合学习与知识迁移的开放集图像分类方法，该方法提出了一个包含域对抗网络和特有网络的深度神经网络模型，用于解决开放集图像分类问题。其中域对抗网络同时对源域数据和目标域数据进行学习，从而其学习到的特征表达在两个域上都具有一定的泛化性能。特有网络则专注于目标域数据的学习，其特征对目标域数据有更强的针对性。在两个网络联合学习和知识交换的过程中，特有网络学习到的特征能利用到域对抗网络所提供的指导，间接利用到了源域数据的监督信息，同时又减少了源域数据对其学习目标域数据带来的干扰，从而模型能够达到比较好的性能。

【技术实现步骤摘要】
一种基于联合学习与知识迁移的开放集图像分类方法
本专利技术涉及图像分类的
，尤其是指一种基于联合学习与知识迁移的开放集图像分类方法。
技术介绍
近年来，由于深度学习在计算机视觉领域的成功，神经网络无疑已经成为了当下研究最热门的问题之一。而神经网络能取得如此成绩，离不开足够数量的带标签的数据。然而，在很多情况下我们很难轻易地获得训练所需的大量带标签的数据，但是仅仅依靠人工标注的话，整个过程都比较费时费力，并且难以保证标注的质量，这个问题在很大程度上限制了深度分类神经网络的发展，于是“域自适应”应运而生，它研究如何利用具有足够标签的源域数据信息来帮助缺乏标签信息的目标域数据的学习。简单而言，就是通过神经网络学习如何将源域数据上的标签信息迁移到无标签的目标域数据上。其中，源域和目标域数据相关但分布不同。在这个问题中，一般情况下源域和目标域中的数据类别是完全一致的，这种情况称之为闭集域自适应。然而在实际应用场景中，源域和目标域中可能只有一部分类别是相同的，除此之外的其他类别只存在于两个域中的某一个，这种场景更贴合实际应用，被称为开放集域自适应。如果直接将闭集域自适应中的图像分类方法应用到开放集场景中，分类神经网络性能会有明显的下降。从本质上来说，我们需要的仅仅是两个域上相同类别的数据在分布上进行匹配，而其余类别的数据不应该与任何类别数据的分布对齐。有一种常见的解决方法是先筛选出目标域数据中的未知类数据，然后再对两个域中其余共同的类别做分布匹配，这样可以将问题的一部分转化为先前已经研究过的闭集域自适应问题。>但是目前解决开放集域自适应的分类神经网络基本上都是在源域数据和目标域数据上共同训练，但是由于目标域上的数据没有标注信息，训练过程中分类神经网络可能很难学习到针对目标域的具有可区分性的分类特征，这就会导致训练过程中学习到的特征很难在目标域上具有泛化性。所以本方法提出了一种基于两个网络联合学习的分类神经网络，核心思想是基于两个网络进行联合学习的过程中达到同步优化。
技术实现思路
本专利技术的目的在于克服现有的开放集图像分类方法中，训练分类神经网络的时候同时利用源域和目标域数据进行训练对神经网络学习特征表达过程的带来干扰，提出了一种基于联合学习与知识迁移的开放集图像分类方法，利用一个专注于目标域数据学习的特有网络来解决这一问题。为实现上述目的，本专利技术所提供的技术方案为：一种基于联合学习与知识迁移的开放集图像分类方法，包括以下步骤：S1、对训练数据进行划分，分为源域数据Xs和目标域数据Xt；初始化损失项权重系数λ和μ；随机初始化分类神经网络所有层的参数，包括两个结构完全相同、各自均由一个VGG-16分类网络组成的神经网络，分别称为域对抗网络和特有网络；S2、随机从训练数据中的源域数据选择一小批源域训练数据(xs，ys)，从目标域数据选择一小批目标域训练数据xt，其中，xs和ys分别表示选取的源域数据及其对应的标签信息；将两批数据分别输入到域对抗网络进行训练，并加以损失函数进行约束；再将同一批目标域数据输入到特有网络中进行训练，加以对应的损失函数进行约束；S3、将步骤S2中取出的目标域训练数据经过几何变换增广方式得到相同数量的增广数据T(xt)，其中T表示选定的几何变换增广方式；并将增广前后的训练数据xt和T(xt)都输入到特有网络中进行训练，并加以对应的损失函数进行约束；S4、重复步骤S2-S3，达到预先设定的训练次数后完成训练，输出训练好的域对抗网络和特有网络，用二者中任意一个网络对所需分类的图像进行类别预测即可。在步骤S1中，需要对训练数据中所有的图像进行归一化处理，把图像的像素值归一化到[0,1]范围内，以期达到理想的训练效果，并同时能减少计算量以缩短分类神经网络的训练时间；根据训练设置对所有数据进行分类，训练数据包含源域数据Xs和目标域数据Xt，两个域中共同的类别定义为已知类，除此之外，目标域数据中还包含有若干个源域数据中没有包含的类别，这些类别统一归为未知类；对分类神经网络所包含的域对抗网络和特有网络的所有层参数都进行随机初始化，即利用Pytorch中带有的接口函数来随机生成两个VGG-16分类网络，分别作为域对抗网络和特有网络的初始状态；损失项权重系数λ和μ分别被设为1和2。在步骤S2中，对于选取到的一批源域训练数据(xs，ys)，仅将其输入域对抗网络中，由于其具有标签信息，能够用交叉熵对其进行约束，所以源域数据xS的交叉熵损失函数Leva(xS)定义如下：Leva(xS)＝-ySlog(pC(xS))其中，表示来自源域的数据在已知类别上预测结果的概率分布；域对抗网络的最后一个全连接层定义为分类器HC，剩余部分定义为特征提取器FC，这两个部分对应的参数分别表示为两和对于目标域训练数据xt，分别将其输入域对抗网络和特有网络，其具体情况如下：a、首先将其输入域对抗网络中，并构建如下对抗损失函数Ladv(xt)：其中，K表示已知类的数目，表示一个输入的目标域数据被预测为属于未知类的概率；域对抗网络的分类器HC在训练过程中将目标域数据统一识别为未知类，而域对抗网络的特征提取器FC则通过学习一个能够区分出已知类数据和未知类数据的特征表达，尽可能地去迷惑HC；因此FC最终的目标是希望将源域和目标域中的已知类数据分布匹配起来；以下两个对抗的损失项来分别更新特征提取器FC和分类器HC：通过这两个对抗的损失项同时对域对抗网络的两个部分进行优化，最终促使目标域中的已知类数据与源域中的已知类数据尽可能对齐，同时将未知类数据区分出来；b、接着将xt输入特有网络中，特有网络包含一个特征提取器FD和一个分类器HD，这两个部分的参数分别表示为和其中，分类器HD输出包含K+1个点；由于缺乏目标域上的监督信息，特有网络需要从域对抗网络上学习；为了匹配后验概率分布pC(xt)，定义了一个目标一致性损失函数如下：其中，DKL(·||·)表示KL散度函数，表示数据经过FC和HC预测所得的概率分布，表示数据经过FD和HD预测所得的概率分布；同样的，对于域对抗网络定义了一个类别一致性损失函数如下：因此，针对无标签信息的目标域数据，通过域对抗网络和特有网络之间的联合学习和知识交换过程，达到同时训练和互相促进的效果。在步骤S3中，对于训练过程，还引入了一个基于语义的对比正则项；给定一个数据x，通过随机几何变换构造了其变换版本T(x)；来自相同类别的数据称之为正数据，而来自不同类别的数据称之为负数据；对于特有网络定义了一个基于语义的对比正则项Lctr(xt)如下：其中，表示目标域样本的伪标签，b代表一批训练数据，q(·)表示根据xt和计算所得的对比损失，具体定义如下：其中，FD(·)表示数据经过特有网络得到的输出，T(·)表示对数据做几何变换，xt′表示所有与xt类别不相同的样本，exp(·)表示自然指数函数，Dcos(·)代表余弦相似度，本文档来自技高网...

【技术保护点】
1.一种基于联合学习与知识迁移的开放集图像分类方法，其特征在于，包括以下步骤：/nS1、对训练数据进行划分，分为源域数据X

【技术特征摘要】
1.一种基于联合学习与知识迁移的开放集图像分类方法，其特征在于，包括以下步骤：
S1、对训练数据进行划分，分为源域数据Xs和目标域数据Xt；初始化损失项权重系数λ和μ；随机初始化分类神经网络所有层的参数，包括两个结构完全相同、各自均由一个VGG-16分类网络组成的神经网络，分别称为域对抗网络和特有网络；
S2、随机从训练数据中的源域数据选择一小批源域训练数据(xs，ys)，从目标域数据选择一小批目标域训练数据xt，其中，xs和ys分别表示选取的源域数据及其对应的标签信息；将两批数据分别输入到域对抗网络进行训练，并加以损失函数进行约束；再将同一批目标域数据输入到特有网络中进行训练，加以对应的损失函数进行约束；
S3、将步骤S2中取出的目标域训练数据经过几何变换增广方式得到相同数量的增广数据T(xt)，其中T表示选定的几何变换增广方式；并将增广前后的训练数据xt和T(xt)都输入到特有网络中进行训练，并加以对应的损失函数进行约束；
S4、重复步骤S2-S3，达到预先设定的训练次数后完成训练，输出训练好的域对抗网络和特有网络，用二者中任意一个网络对所需分类的图像进行类别预测即可。


2.根据权利要求1所述的一种基于联合学习与知识迁移的开放集图像分类方法，其特征在于：在步骤S1中，需要对训练数据中所有的图像进行归一化处理，把图像的像素值归一化到[0,1]范围内，以期达到理想的训练效果，并同时能减少计算量以缩短分类神经网络的训练时间；根据训练设置对所有数据进行分类，训练数据包含源域数据Xs和目标域数据Xt，两个域中共同的类别定义为已知类，除此之外，目标域数据中还包含有若干个源域数据中没有包含的类别，这些类别统一归为未知类；对分类神经网络所包含的域对抗网络和特有网络的所有层参数都进行随机初始化，即利用Pytorch中带有的接口函数来随机生成两个VGG-16分类网络，分别作为域对抗网络和特有网络的初始状态；损失项权重系数λ和μ分别被设为1和2。


3.根据权利要求1所述的一种基于联合学习与知识迁移的开放集图像分类方法，其特征在于：在步骤S2中，对于选取到的一批源域训练数据(xs，ys)，仅将其输入域对抗网络中，由于其具有标签信息，能够用交叉熵对其进行约束，所以源域数据xS的交叉熵损失函数Leva(xS)定义如下：
Leva(xS)＝-ySlog(pC(xS))
其中，表示来自源域的数据在已知类别上预测结果的概率分布；域对抗网络的最后一个全连接层定义为分类器HC，剩余部分定义为特征提取器FC，这两个部分对应的参数分别表示为两和
对于目标域训练数据xt，分别将其输入域对抗网络和特有网络，其具体情况如下：
a、首先将其输入域对抗网络中，并构建如下对抗损失函数Ladv(xt)：



其中，K表示已知类的数目，表示一个输入的目标域数据被预测为属于未知类的概率；域对抗网络的分类器HC在训练过程中将目标域数据统一识别为未知类，而域对抗网络的特征提取器FC则通过学习一个能够区分出已知类数据和未知类数据的特征表达，尽可能地去迷惑HC；因此FC最终的目标是希望将源域和目标域中的已知类数据分布匹配起来；以下两个对抗的损失项来分别更新特征提取器FC和分类器HC：






通过这两个对抗的损失项同时对域对抗网络的两个部分进行优化，最终促使目标域中的已知类数据与...

【专利技术属性】
技术研发人员：周浩宏，吴斯，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44