一种基于图卷积网络的无监督迁移学习方法技术

本发明专利技术公开了一种基于图卷积网络的无监督迁移学习方法。所述方法包括：从数据库中得到用于迁移学习的源域和目标域样本，对其进行特征提取以及构建相关性关系图；将样本特征和关系图放入已构建的图卷积网络中将样本特征映射到具有强判别性的特征空间并构成样本新的特征；对学习到的特征空间及新样本特征进行分布对齐，使得新样本特征具有良好的迁移性能；同时，构建一个分类网络并学习一个目标域数据的分类器；重复使用梯度下降法直到图卷积网络及分类网络的损失函数收敛，并对未标注的目标域数据进行预测。本发明专利技术结合了模型判别能力和知识迁移能力两个特征，能用于困难的无监督迁移学习场景，在实际场景的应用中有良好的分类学习和数据标注能力。

An unsupervised transfer learning method based on graph convolution network

【技术实现步骤摘要】
一种基于图卷积网络的无监督迁移学习方法
本专利技术涉及无监督迁移学习领域,具体涉及一种基于图卷积网络的无监督迁移学习方法。
技术介绍
近年来，人工智能技术迅猛发展，在多种实地应用场景下起到了很强的作用。人工智能技术的核心是其算法的学习以及预测。然而，随着实际应用场景的多样性和复杂性的增加。传统人工智能算法的短板越来越突出。这主要是由于传统人工智能算法是假设所学习的数据是服从同一分布的，只有服从这样的假设才能够表现出良好的结果。然而，实际应用中由于不同时间不同地域等各种原因造成数据往往是不完全服从同一分布的，这就需要迁移学习技术把学习到的知识从源域应用到目标域。一类比较困难且很有价值的实际问题是源域和目标域数据分布存在差异，且目标域不存在标注数据，这就是无监督的迁移学习问题。目前有一些应用方法关注到这个问题，但多数解决该问题方法存在一个不足，即忽略了数据的几何信息，而这些几何信息对于学习样本之间的相关性具有重要意义。如何利用数据的几何信息，学习从一个领域到另外一个领域的知识迁移，并进行预测，具有极强的研究价值和实际意义。
技术实现思路
本专利技术的目的是提供一种基于图卷积网络的无监督迁移学习方法，克服现有技术存在的不足。本专利技术的目的至少通过如下技术方案之一实现。一种基于图卷积网络的无监督迁移学习方法，包括以下步骤：S1：从数据库中得到用于迁移学习的源域和目标域样本，对数据样本即源域样本和目标域样本进行特征提取，并基于近邻算法模型构建各数据样本之间的相关性关系图；<br>S2：将步骤S1中得到的样本特征和关系图放入已构建的图卷积网络中，以提取关系图中数据样本的几何信息，从而将样本特征映射到具有强判别性的特征空间，并构成样本新的特征；S3：利用最大平均差异对步骤S2中学习到的特征空间及新样本特征进行分布对齐，使得新样本特征具有良好的迁移性能；同时，构建一个分类网络，利用分类网络的损失函数学习一个目标域数据的分类器；S4：重复使用梯度下降法减小图卷积网络的损失及分类网络的损失，直到图卷积网络及分类网络的损失函数收敛，并使用收敛后图卷积网络和分类网络的参数对未标注的目标域数据进行预测。进一步地，步骤S1中，具体步骤如下：S1.1：从数据库中取出数据，包括源域样本和目标域样本；利用特征提取算法提取源域样本和目标域样本的特征；进行特征提取后，源域样本特征表示为其中nS为源域样本的个数，下标S代表源域；源域的样本类别表示为对于第i个源域样本xS,i,yS,i∈{1,...,C}为类别空间，C为总类别数；目标域样本特征表示为其中nT为目标域样本的个数，下标T代表目标域，xT,i表示第i个目标域样本；X＝[XS,XT]＝[x1,...,xn]T为两个域的数据样本特征的集合，两个域的样本总数n＝nS+nT；目标域样本无类别标记，两个域的样本提取后的特征维度均为d，且类别空间一致，即两个域样本所属的类别可能相同；S1.2：利用近邻算法模型(kNN)对步骤S1.1提取到的特征进行关系图的构建；令矩阵A为数据样本之间的相关性邻接矩阵，给定第i个数据样本xi和第j个数据样本xj，构建算法为：其中，Aij为A的第i行第j列的元素，Nk(xi)表示第i个数据样本xi的k个近邻；之后对邻接矩阵做正则化处理，即：其中，Dii＝∑jAij，Dii为D的第i行第i列的元素；邻接矩阵A正则化处理后所得的即为构建得到的关系图。进一步地，步骤S1.1中，所述特征提取算法为尺度不变特征变换算法(SIFT)或者预训练好的深度网络模型。进一步地，步骤S2中，所述图卷积网络的模型为三层网络模型，具体表示为：其中，W＝{W(0),W(1),W(2)}是训练过程中要学习的图卷积参数W(0)、W(1)、W(2)分别为全卷积网络第一、第二、第三层的网络参数，σ(·)为修正线性单元(ReLU)激活函数；X为S1.1中所述两个域的数据样本特征的集合，通过模型G(·)学到新的特征Z＝[ZS,ZT]＝[z1,...,zi,zn]T，ZS,ZT分别为源域和目标域样本新的特征，n为两个域的样本特征总数，zi表示第i个数据样本的新特征。进一步地，步骤S3中，具体步骤如下：S3.1：利用最大平均差异(MMD)对齐步骤S2所述的特征空间，使得样本新的特征具有良好的迁移性能；S3.2：构建一个分类网络，通过样本新的特征中属于源域样本的部分，以及这些样本的对应标签，采用分类损失函数进行训练，学到一个目标域数据的分类器。进一步地，步骤S3.1中，最大平均差异的目标函数为：其中，Ω(·,·)为最大平均差异的目标函数，h(·)为映射函数，zS,i代表第i个源域样本的新特征，zT,i代表第i个目标域样本的新特征。进一步地，分类网络由支持向量机或多层感知机构成。进一步地，步骤S3.2中，所述分类损失函数为：lCE为源域所有数据样本的交叉熵损失，其中，当第i个源域样本属于第ξ类，即yS,i＝ξ，(ξ∈[1,2...,C])时，有fc(zS,i)为软最大值分类函数，即：f(zS,i)＝softmax(ΘzS,i)，其中Θ＝[θ1,...,θc,...,θC]T，θc表示类别c的参数；fc(zS,i)为分类器f(zS,i)输出的第c个元素，f(·)则为目标域数据的分类器。进一步地，步骤S4中，所述图卷积网络的损失函数是：l＝lCE(yS,f(ZS))+λΩ(ZS,ZT)；l为图卷积网络的损失函数，lCE为步骤S3.2中的分类损失函数，Ω(·,·)为步骤S3.1中的数据分布对齐损失；λ为人工给定的权衡参数。进一步地，步骤S4中，判定损失收敛及对未标注的目标域数据进行预测的方法为：重复使用梯度下降法应用于图卷积网络的损失函数l以及分类网络的损失函数lCE，直到图卷积网络和分类网络的网络损失的减少在多轮迭代中均少于μ，μ为人工设定的阈值，获得最优的图卷积网络和分类网络参数W*和Θ*，上标*代表最优参数；给定一个学到的目标域样本zT，对其预测结果为：即中最大值元素的索引。与现有技术相比，本专利技术具有如下优点和技术效果：本专利技术结合了模型判别能力和知识迁移能力两个特征，利用图卷积学习数据几何关系的优势，学习源域和目标域数据的特征空间，该空间中的特征既具有强判别性，又有较好的迁移性能，从而提升了目标域分类学习的准确率。附图说明图1为本专利技术实施例的一种基于图卷积网络的无监督迁移学习方法的流程图。图2为本专利技术实施例的构建模型的流程图。图3为AlexNet模型提取出的域特征及通过本方法提取出的域特征的横向比较示意图。具体实施方式下面结合实施例及附图对本专利技术的具体实施做进一步详细的描述，但本专利技术的实施方式不限于此。实施例：如图1、图2所示，一种基于图卷积网络的无监督迁移学习方法，包括以下步骤：S1：从数据库中得到用于迁移学本文档来自技高网...

【技术保护点】
1.一种基于图卷积网络的无监督迁移学习方法，其特征在于，包括以下步骤：/nS1：从数据库中得到用于迁移学习的源域和目标域样本，对数据样本即源域样本和目标域样本进行特征提取，并基于近邻算法模型构建各数据样本之间的相关性关系图；/nS2：将步骤S1中得到的样本特征和关系图放入已构建的图卷积网络中，以提取关系图中数据样本的几何信息，从而将样本特征映射到具有强判别性的特征空间，并构成样本新的特征；/nS3：利用最大平均差异对步骤S2中学习到的特征空间及新样本特征进行分布对齐，使得新样本特征具有良好的迁移性能；同时，构建一个分类网络，利用分类网络的损失学习一个目标域数据的分类器；/nS4：重复使用梯度下降法减小图卷积网络的损失及分类网络的损失，直到图卷积网络及分类网络的损失函数收敛，并使用收敛后图卷积网络和分类网络的参数对未标注的目标域数据进行预测。/n

【技术特征摘要】
1.一种基于图卷积网络的无监督迁移学习方法，其特征在于，包括以下步骤：
S1：从数据库中得到用于迁移学习的源域和目标域样本，对数据样本即源域样本和目标域样本进行特征提取，并基于近邻算法模型构建各数据样本之间的相关性关系图；
S2：将步骤S1中得到的样本特征和关系图放入已构建的图卷积网络中，以提取关系图中数据样本的几何信息，从而将样本特征映射到具有强判别性的特征空间，并构成样本新的特征；
S3：利用最大平均差异对步骤S2中学习到的特征空间及新样本特征进行分布对齐，使得新样本特征具有良好的迁移性能；同时，构建一个分类网络，利用分类网络的损失学习一个目标域数据的分类器；
S4：重复使用梯度下降法减小图卷积网络的损失及分类网络的损失，直到图卷积网络及分类网络的损失函数收敛，并使用收敛后图卷积网络和分类网络的参数对未标注的目标域数据进行预测。


2.根据权利要求1所述的一种基于图卷积网络的无监督迁移学习方法，其特征在于：步骤S1中，具体步骤如下：
S1.1：从数据库中取出数据，包括源域样本和目标域样本；利用特征提取算法提取源域样本和目标域样本的特征；进行特征提取后，源域样本特征表示为其中nS为源域样本的个数，下标S代表源域；源域的样本类别表示为对于第i个源域样本xS,i,yS,i∈{1,...,C}为类别空间，C为总类别数；目标域样本特征表示为其中nT为目标域样本的个数，下标T代表目标域，xT,i表示第i个目标域样本；X＝[XS,XT]＝[x1,...,xn]T为两个域的数据样本特征的集合，两个域的样本总数n＝nS+nT；目标域样本无类别标记，两个域的样本提取后的特征维度均为d，且类别空间一致；
S1.2：利用近邻算法模型对步骤S1.1提取到的特征进行关系图的构建；令矩阵A为数据样本之间的相关性邻接矩阵，给定第i个数据样本xi和第j个数据样本xj，构建算法为：



其中，Aij为A的第i行第j列的元素，Nk(xi)表示第i个数据样本xi的k个近邻；之后对邻接矩阵做正则化处理，即：其中，Dii＝∑jAij，Dii为D的第i行第i列的元素；邻接矩阵A正则化处理后所得的即为构建得到的关系图。


3.根据权利要求2所述的一种基于图卷积网络的无监督迁移学习方法，其特征在于：步骤S1.1中，所述特征提取算法为尺度不变特征变换算法或者预训练好的深度网络模型。


4.根据权利要求1所述的一种基于图卷积网络的无监督迁移学习方法，其特征在于：步骤S2中，所述图卷积网络的模型为三层网络模型，具体表示为：



其中，W＝{W(0),W(1),W(2)}是训练过程中要学习的图卷积参数，W(0)、W(1)、W(2)分别为全卷积网络第一、第二、第三层的网络参数，σ(·)...

【专利技术属性】
技术研发人员：吴庆耀，吴汉瑞，叶宇中，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44