一种大数据跨领域分析的深度迁移学习方法技术

本发明专利技术提供一种大数据跨领域分析的深度迁移学习方法，通过根据联合分布差异和分类错误率，确定深度网络的损失函数的值，其中，联合分布差异为源域对应的所有任务相关层中的特征以及标签之间的联合概率分布与目标域对应的所有任务相关层中的特征以及标签之间的联合概率分布之间的分布差异；并基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域；从而在对深度网络的迁移学习过程中，将联合分布差异作为深度网络的损失函数的值的组成部分，通过更新深度网络的参数，在保证源域准确率的同时实现源域和目标域联合分布的匹配，即提高了所有任务相关层的迁移能力，从而给深度网络在不同领域间的迁移学习带来更好的效果。

A deep migration learning method for large data cross domain analysis

The depth of transfer learning method of the invention is to provide a large data cross domain analysis, according to the joint distribution of difference and classification error rate, determine the depth of loss function value of the network, the distribution difference between the joint probability distribution between all tasks related to the joint probability distribution layer between all tasks related to joint distribution difference as the source domain and the corresponding the features and the label and the target domain in the corresponding feature and label; and based on the value of loss function, the parameter update depth of the network, so that the depth of the network adapter to the target domain; learning in depth on the migration process network, part of the joint distribution as a function of depth of network loss difference the values of the parameters, by updating the depth of the network, while ensuring the accuracy of the source domain to achieve the source domain and the target domain of the joint distribution, i.e. The migration ability of all task related layers is improved, which will bring better effect to the learning of the migration of the depth network in different fields.

【技术实现步骤摘要】
一种大数据跨领域分析的深度迁移学习方法
本专利技术涉及计算机数据分析
，更具体地，涉及一种大数据跨领域分析的深度迁移学习方法。
技术介绍
机器学习在大量标记的数据上进行监督式训练可以获得很好的性能和效果，然而大型的标记数据集在数量和应用领域方面均有限，且手动标记足量的训练数据往往需要高昂的代价。因此当面对标记数据稀缺的目标任务时，如何利用与目标域相关但服从不同概率分布的源域中已有的标记数据，来构建一个有效的学习器，就具有很强的现实需求。在源域数据和目标域数据之间存在分布偏移时学习判别式模型的范式称为迁移学习。迁移学习试图构建能够在服从不同概率分布的领域间泛化的学习器，使得在目标域缺少标记数据的情况下仍然可以结合源域的标记数据进行学习以完成对目标域数据的处理，在计算机视觉和自然语言处理等领域有着广泛的应用。数据满足独立同分布是统计数据分析的基础，而在迁移学习问题中，源域数据与目标域数据的特征分布存在偏差，在实际应用中，数据特征和标签的联合概率分布也将会在领域间显著偏移，这使迁移学习问题更加具有挑战性；迁移学习的主要技术难点在于如何学习到在领域间迁移能力较好的特征与结构，降低领域间的概率分布差异。利用深度神经网络学习的抽象特征具有较好的可迁移性，能够泛化到新任务上以提升迁移学习的效果。但对于深度网络的上层，其迁移能力会随着领域间差异的扩大而显著下降，而深度网络的上层往往是用于拟合样本特性的任务相关层，任务相关层的迁移能力的下降，会影响深度网络在不同领域间迁移学习的效果。
技术实现思路
为了克服上述问题或者至少部分地解决上述问题，本专利技术提供一种大数据跨领域分析的深度迁移学习方法。根据本专利技术的一个方面，提供一种大数据跨领域分析的深度迁移学习方法，包括：确定第一联合概率分布与第二联合概率分布之间的联合分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，任务相关层为深度网络的上层；确定对源域的样本的分类错误率；根据联合分布差异和分类错误率，确定深度网络的损失函数的值；基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域。其中，确定第一联合概率分布与第二联合概率分布之间的联合分布差异，包括：确定第一联合概率分布，确定第二联合概率分布；通过计算第一联合概率分布和第二联合概率分布在可再生核希尔伯特空间中的核嵌入之间的欧式距离的平方，获取联合分布差异；其中，联合概率分布在可再生核希尔伯特空间中的核嵌入的表达式如下：上式中，x表示样本在任务相关层中的特征，φ(x)表示样本在任务相关层中的特征在可再生核希尔伯特空间的映射函数，ΩX表示样本在任务相关层中的特征的定义域，y表示标签，ψ(y)表示标签在可再生核希尔伯特空间的映射函数，ΩY表示标签的定义域，P(x，y)表示样本在任务相关层中的特征以及标签之间的联合概率分布。其中，确定第一联合概率分布，包括：将源域的样本输入到深度网络作正向传播，获取源域的样本在深度网络的每一任务相关层中的特征；将源域的样本在深度网络的所有任务相关层中的特征和源域的标签作为第一数据集，将第一数据集满足的概率分布作为第一联合概率分布。其中，确定第二联合概率分布，包括：将目标域的样本输入到深度网络作正向传播，获取目标域的样本在深度网络的每一任务相关层中的特征，输出对目标域中缺少标签的样本的预测标签；将目标域的样本在深度网络的所有任务相关层中的特征、目标域的标签和预测标签作为第二数据集，将第二数据集满足的概率分布作为第二联合概率分布。其中，确定对源域的样本的分类错误率，包括：将源域的样本输入到深度网络，输出对源域的样本的预测结果；根据深度网络对源域的样本的预测结果的条件概率确定分类错误率。其中，基于损失函数的值，更新深度网络的参数，包括：判断损失函数的值是否收敛至满意值；若确定损失函数的值未收敛至满意值，则利用反向传播算法更新深度网络的参数；基于更新参数后的深度网络，重新确定损失函数的值，并重新判断损失函数的值是否收敛至满意值，若确定损失函数的值未收敛至满意值，利用反向传播算法重新更新深度网络的参数，直至确定损失函数的值收敛至满意值或者更新深度网络的参数的次数达到预设值。本专利技术的另一方面，提供一种深度网络的迁移学习装置，包括：至少一个处理器；以及与处理器通信连接的至少一个存储器，其中：存储器存储有可被处理器执行的程序指令，处理器调用程序指令以执行上述的方法。本专利技术的又一方面，提供一种计算机程序产品，该计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，该计算机程序包括程序指令，当该程序指令被计算机执行时，使计算机执行上述的方法。本专利技术的又一方面，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储计算机程序，该计算机程序使计算机执行上述的方法。本专利技术提供的一种大数据跨领域分析的深度迁移学习方法，通过根据联合分布差异和分类错误率，确定深度网络的损失函数的值，其中，联合分布差异为第一联合概率分布与第二联合概率分布之间的分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布；并基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域；从而在对深度网络的迁移学习过程中，将联合分布差异作为深度网络的损失函数的值的组成部分，通过更新深度网络的参数，在保证源域准确率的同时实现源域和目标域联合分布的匹配，即提高了所有任务相关层的迁移能力，从而给深度网络在不同领域间的迁移学习带来更好的效果。附图说明为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本专利技术实施例的大数据跨领域分析的深度迁移学习方法的流程图；图2为根据本专利技术另一实施例的大数据跨领域分析的深度迁移学习方法的流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的一个实施例中，参考图1，提供一种大数据跨领域分析的深度迁移学习方法，包括：S11，确定第一联合概率分布与第二联合概率分布之间的联合分布差异，第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，第二联合概率分布为目标域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，任务相关层为深度网络的上层；S12，确定对源域的样本的分类错误率；S13，根据联合分布差异和分类错误率，确定深度网络的损失函数的值；S14，基于损失函数的值，更新深度网络的参数，以使深度网络适配目标域。具体的本文档来自技高网...

【技术保护点】
一种大数据跨领域分析的深度迁移学习方法，其特征在于，包括：确定第一联合概率分布与第二联合概率分布之间的联合分布差异，所述第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，所述第二联合概率分布为目标域的样本在所述深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，所述任务相关层为所述深度网络的上层；确定对所述源域的样本的分类错误率；根据所述联合分布差异和所述分类错误率，确定所述深度网络的损失函数的值；基于所述损失函数的值，更新所述深度网络的参数，以使所述深度网络适配所述目标域。

【技术特征摘要】
1.一种大数据跨领域分析的深度迁移学习方法，其特征在于，包括：确定第一联合概率分布与第二联合概率分布之间的联合分布差异，所述第一联合概率分布为源域的样本在深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，所述第二联合概率分布为目标域的样本在所述深度网络的所有任务相关层中的特征以及标签之间的联合概率分布，所述任务相关层为所述深度网络的上层；确定对所述源域的样本的分类错误率；根据所述联合分布差异和所述分类错误率，确定所述深度网络的损失函数的值；基于所述损失函数的值，更新所述深度网络的参数，以使所述深度网络适配所述目标域。2.根据权利要求1所述的方法，其特征在于，所述确定第一联合概率分布与第二联合概率分布之间的联合分布差异，包括：确定所述第一联合概率分布，确定所述第二联合概率分布；通过计算所述第一联合概率分布和所述第二联合概率分布在可再生核希尔伯特空间中的核嵌入之间的欧式距离的平方，获取所述联合分布差异；其中，联合概率分布在可再生核希尔伯特空间中的核嵌入的表达式如下：其中，x表示样本在任务相关层中的特征，φ(x)表示样本在任务相关层中的特征在可再生核希尔伯特空间的映射函数，ΩX表示样本在任务相关层中的特征的定义域，y表示标签，ψ(y)表示标签在可再生核希尔伯特空间的映射函数，ΩY表示标签的定义域，P(x，y)表示样本在任务相关层中的特征以及标签之间的联合概率分布。3.根据权利要求2所述的方法，其特征在于，所述确定第一联合概率分布，包括：将所述源域的样本输入到所述深度网络作正向传播，获取所述源域的样本在所述深度网络的每一任务相关层中的特征；将所述源域的样本在所述深...

【专利技术属性】
技术研发人员：龙明盛，王建民，树扬，黄向东，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11