【技术实现步骤摘要】
基于对抗学习的无监督领域适应方法、系统及介质
本专利技术涉及计算机视觉和图像处理领域的方法，具体地，涉及基于对抗学习的无监督领域适应方法、系统及介质。
技术介绍
深度神经网络模型因为其在诸多领域的出色表现已经受到越来越多的关注。训练一个深度神经网络模型往往需要大量的有标注数据。然而为每一个新任务都收集一个大规模的有标注数据集是极为耗时耗力的。幸运的是，我们可以找到其他域的相关任务的数据，利用这些辅助数据或许可以帮助减少当前任务对标注一个新的数据集的依赖。然而，由于数据收集方式等的不同，两个不同领域的数据分布往往不同。由于“domainshift”的存在，在一个域上训练好的模型，直接在另外一个域上进行测试，模型的性能会下降许多。作为迁移学习的一个分支，领域适应就是为了解决不同域之间存在的“domainshift”问题。根据目标领域有标注的样本的数量，领域适应可以分为：监督、半监督和无监督领域适应。对于无监督领域适应，目标领域没有相应的标注，模型需要根据有标注的源领域数据和无标注的目标领域数据，训练一个可以在目标领域上取得较好效果的模型。目前，很多无监督领域适应方法都...
【技术保护点】
1.一种基于对抗学习的无监督领域适应方法，其特征在于，包括：特征提取步骤：对源领域和目标领域的图像，使用特征提取网络提取图像的特征，获得源领域的图像特征和目标领域的图像特征；类别预测步骤：根据获得的源领域的图像特征和目标领域的图像特征，预测图像属于各个类别的概率，获得类别预测概率；领域判别步骤：根据获得的源领域的图像特征和目标领域的图像特征，通过领域判别网络预测图像特征来自源领域和目标领域的概率，获得领域预测概率；对抗学习步骤：对获得的领域预测概率设计损失函数，使特征提取网络和领域判别网络进行对抗学习，使得特征提取网络能够提取领域不变特征；特征判别力提升步骤：对获得的源领域...
【技术特征摘要】
1.一种基于对抗学习的无监督领域适应方法，其特征在于，包括：特征提取步骤：对源领域和目标领域的图像，使用特征提取网络提取图像的特征，获得源领域的图像特征和目标领域的图像特征；类别预测步骤：根据获得的源领域的图像特征和目标领域的图像特征，预测图像属于各个类别的概率，获得类别预测概率；领域判别步骤：根据获得的源领域的图像特征和目标领域的图像特征，通过领域判别网络预测图像特征来自源领域和目标领域的概率，获得领域预测概率；对抗学习步骤：对获得的领域预测概率设计损失函数，使特征提取网络和领域判别网络进行对抗学习，使得特征提取网络能够提取领域不变特征；特征判别力提升步骤：对获得的源领域的图像特征，使用中心损失函数提升特征的判别力；条件概率对齐步骤：根据获得的类别预测概率，对获得的源领域的图像特征和目标领域的图像特征，进行条件概率对齐。2.根据权利要求1所述的基于对抗学习的无监督领域适应方法，其特征在于，所述特征提取步骤：利用特征提取网络，将源领域的图像和目标领域的图像输入特征提取网络，提取源领域的图像特征和目标领域的图像特征；所述特征提取网络为深度卷积神经网络；所述源领域的图像和目标领域的图像是来自两个不同分布的针对同一分类任务的图像，源领域的图像有相应的标注，目标领域的图像没有标注信息。3.根据权利要求2所述的基于对抗学习的无监督领域适应方法，其特征在于，所述类别预测步骤：根据获得的源领域的图像特征和目标领域的图像特征，使用全连接层和softmax层构成的分类网络预测图像为各个类别的概率，获得类别预测概率；所述类别指的是图像中包含的事物的类别；所述类别预测步骤包括：概率计算步骤：用E表示特征提取网络，E(xi)表示特征提取网络提取的图像xi的特征，维度为N维，C表示全连接层构成的分类网络，预设一共有K个类别，则全连接层的参数为N×K维的矩阵，记为W，全连接层的输出为：C(E(xi))＝WTE(xi)其中，E(xi)表示特征提取网络提取的图像xi的特征；C(E(xi))表示全连接层构成的分类网络C输入E(xi)后全连接层获得的输出；上标T表示转置；W表示全连接层的参数为N×K维的矩阵；经过softmax层，将全连接层的输出转换为图像xi为各个类别的概率，其中图像xi为第k类的概率为：其中，Pk(xi)表示图像xi为第k类的概率；e表示自然常数；[WTE(xi)]k是WTE(xi)第k维的值；计算出图像为各个类别的概率后，可以得到图像xi的预测类别，即预测概率最大的类别如下：其中，表示图像xi的类别预测标签；分类网络学习步骤：对于有标注的源领域的图像，将所述概率计算步骤得到的图像xi为各个类别的概率与相应的标注进行对比，可以计算下面的分类网络损失函数：其中，Ls表示类别预测损失函数；表示网络的训练目标是：优化特征提取网络的参数θE和类别预测网络的参数θC，使类别预测损失最小；θE表示特征提取网络的参数；θC表示类别预测网络的参数；(Xs，Ys)表示源领域的图像和标签的分布；P(xi)表示图像xi为各个类别的概率；xi表示源领域的图像；yi表示类别标签，以one-hot向量的形式，即第k类的标签为第k维为1其他维为0的K维向量；H表示交叉熵函数；根据获得的分类网络损失函数，使分类网络C和特征提取网络E进行学习，获得学习后的分类网络C和特征提取网络E，返回概率计算步骤继续执行。4.根据权利要求3所述的基于对抗学习的无监督领域适应方法，其特征在于，所述领域判别步骤：特征提取网络E提取的图像xi的特征为E(xi)，维度为N维，D表示由全连接层构成的领域判别网络，其输出为D(E(xi))，令D(E(xi))的维度为1，经过sigmoid函数h转换到[0，1]区间内，h(D(E(xi)))代表图像xi来自源领域的概率，则1-h(D(E(xi)))代表图像来自目标领域的概率，其中sigmoid函数可以表达为：其中，h(D(E(xi)))表示图像xi来自源领域的概率；D(E(xi))表示由全连接层构成的领域判别网络的输出。所述对抗学习步骤：根据获得的领域预测概率，采用对抗学习目标函数对特征提取网络和领域判别网络进行对抗学习，使领域判别网络尽可能地区分源领域的图像和目标领域的图像，使特征提取网络提取域不变特征，从而混淆领域判别网络，使领域判别网络误判，即使领域判别网络不能区分图像特征来自于源领域还是目标领域；所述领域不变特征指源领域和目标领域共享的图像语义信息；所述对抗学习目标函数指特征提取网络最小化对抗损失函数及领域判别网络最大化对抗损失函数，对抗学习目标函数如下所示：其中，Ladv表示对抗损失函数；表示特征提取网络E的优化目标是最小化对抗损失函数，领域判别网络D的优化目标是最大化对抗损失函数；Xs表示源领域的样本集合；Xt表示目标领域的样本集合；θD是领域判别网络的参数。5.根据权利要求4所述的基于对抗学习的无监督领域适应方法，其特征在于，所述特征判别力提升步骤：设每个类别均有一个类中心点，通过添加中心损失函数，使源领域的图像特征向其对应的类别的中心点靠近，从而减少散落在类间区域的样本，提升所提取的特征的判别力；所述中心损失函数：通过计算每个特征与相应类别中心点的欧几里得距离，可以得到如下中心损失函数：其中，表示最小化源领域的中心损失函数；Lcs表示源领域的中心损失函数，它与特征提取网络E有关；表示网络的训练目标是：优化特征提取网络的参数θE使得源领域的中心损失最小；cyi是类别yi的类中心点；在第一次迭代时，使用当前批次的数据初始化各类别的中心点，然后采用下面的方式更新中心点：其中，是第k个类别在第t+1次迭代时的中心点；表示第k个类别在第t次迭代时的中心点；γ是类别中心点的更新速率；K是类别的数量；表示中心点的更新量，其计算公式如下：其中，Bt是第t次迭代时的批数据；I(.)代表指示函数，当yi＝k成立时，I(yi＝k)＝1，否则为0；Nk是此批数据中第k类样本的数量。6.根据权利要求5所述的基于对抗学习的无监督领域适应方法，其特征在于，所述条件概率对齐步骤：根据获得的目标领域图像的类别预测标签设计最小化目标领域的中心损失函数将源领域的图像和目标领域的图像的类条件概率P(X|Y)对齐，使得目标领域的图像也靠近相应的类别中心，从而对齐两个领域的分布，使无标注的目标领域的图像特征也具有判别力；所述最小化目标领域的中心损失函数表示如下：其中，表示最小化目标领域的中心损失函数；Lct表示通过计算目标领域的样本特征与相应类中心点的欧几里得距离所得到的目标领域的中心损失函数；表示网络的优化目标是：优化特征提取网络的参数θE使得目标领域的中心损失最小；表示类别的类中心点；Φ(Xt)是目标领域的子集，其中的样本满足如下条件：Φ(Xt)＝{xi∈Xtandmax(p(xi))＞T}其中，p(xi)表示一个K维向量，其第k维代表样本xi是第k类的概率；T表示一个阈值，只有预测标签的概率大于此...
【专利技术属性】
技术研发人员：张娅，张烨珣，王延峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。