面向跨界大数据分析的对抗迁移学习方法及系统技术方案

本发明专利技术提供一种面向跨界大数据分析的对抗迁移学习方法及系统。该方法包括：将所述源领域和目标领域各自的未标注数据集对应张量集中每个张量对应的随机多线性融合表示代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播，调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；所述张量集中张量为所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；基于该当前最佳损失函数更新所述预设深度神经网络参数并进入下一次所述预设深度神经网络参数的更新直至参数收敛。通过本发明专利技术得到的预设深度神经网络预设数据层集合中多个数据层的联合分布偏移减小，应用于目标领域效果较佳。

Learning methods and systems for cross border big data analysis

The invention provides a learning method and system for resisting transference to cross boundary big data analysis. The method includes: the random multilinear fusion corresponding to each tensor of each tensor of the tensor in the source domain and the target domain is represented as the original loss function of the discriminator, and the current loss function of the discriminator is obtained, and the parameters of the discriminator are adjusted by reverse propagation to minimize the description. The current loss function as the current best loss function of the discriminator; the tensor tensor is a tensor product of the data vector of all data layers in the presupposed data layer set in the preset depth neural network, and updates the presupposed depth neural network parameters based on the current best loss function and enter the next time. The parameters of the preset depth neural network are updated until the parameters converge. The combined distribution offset of multiple data layers in a presupposed depth neural network set by the presupposition depth neural network is reduced, and the effect is better in the target field.

【技术实现步骤摘要】
面向跨界大数据分析的对抗迁移学习方法及系统
本专利技术涉及数据分析
，更具体地，涉及一种面向跨界大数据分析的对抗迁移学习方法及系统。
技术介绍
在众多的机器学习任务处理中，深度神经网络方法为目前效果最好的方法。但深度神经网络只有在获得了足够丰富的有标签数据后，经过监督学习训练才能获得很好的任务效果。为了在目标领域的已标注数据较少的情况下，仍能获得效果较好的用于完成目标任务的深度神经网络，通常采用跨领域学习，将源领域丰富的已标注数据用于目标领域的深度神经网络的获取。基于源领域丰富的已标注数据获取的深度神经网络下，源领域的数据与目标领域的数据存在分布偏移的问题，因而该深度神经网络应用目标领域完成目标任务时效果不佳。针对这一问题，通常采用迁移学习方法解决，即训练一个鉴别器用于调整深度神经网络的参数，使得参数调整后的深度神经网络下，源领域的数据与目标领域的数据间的分布偏移减小，从而深度神经网络应用目标领域完成目标任务时有较佳的效果。其中，对抗迁移学习方法是目前效果最好的迁移学习方法之一，其通过根据深度神经网络中间层的单个数据层的数据向量，构建鉴别器的损失函数，最小化该鉴别器的损失函数获取该鉴别器的参数，并固定该鉴别器的损失函数的参数，最小化深度神经网络的损失函数与该鉴别器的损失函数之差，获取深度神经网络的参数这一方式不断调整深度神经网络的参数直至收敛。通过对抗迁移学习方法，参数调整后的深度神经网络顶层的若干数据层下，源领域的数据与目标领域的数据可能仍然存在数据分布偏移，进而深度神经网络应用目标领域完成目标任务时效果可能不佳。尤其，当源领域与目标领域的数据分布呈现多模式的复杂结构时，根据深度神经网络中间层的单个数据层的数据向量，构建鉴别器的损失函数用于调整深度神经网络的参数，参数调整后的深度神经网络的可能难以捕捉繁杂的数据分布特征以将分布细粒度对齐，使得源领域与目标领域的数据分布偏移仍较大，深度神经网络应用目标领域完成目标任务时效果不佳。
技术实现思路
本专利技术提供一种面向跨界大数据分析的对抗迁移学习方法及系统，以克服现有对抗迁移学习方法得到的深度神经网络顶层的若干数据层下，源领域的数据与目标领域的数据可能仍然存在数据分布偏移，以及当源领域与目标领域的数据分布呈现多模式的复杂结构时，得到深度神经网络可能难以捕捉繁杂的数据分布特征以将分布细粒度对齐，使得源领域与目标领域的数据分布偏移仍较大，应用目标领域完成目标任务时效果不佳的问题。根据本专利技术的第一方面，提供一种面向跨界大数据分析的对抗迁移学习方法，该方法包括：步骤1，将源领域和目标领域各自的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域和目标领域各自的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；步骤2，将所述源领域和目标领域各自的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示，代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；步骤3，利用反向传播，将所述预设深度神经网络在所述源领域的损失函数减去平衡参数与所述当前最佳损失函数的乘积后最小化，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述平衡参数为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数。其中，所述步骤1具体包括：步骤11，将所述源领域和目标领域各自的未标注数据集中的每个未标注数据依次输入至预设深度神经网络并正向传播，获取所述每个未标注数据下所述预设深度神经网络中预设数据层集合中每个数据层的数据向量；步骤12，计算所述数据向量的张量积，将所述张量积作为所述每个未标注数据对应的张量；步骤13，根据所述源领域的未标注数据集中每个未标注数据对应的张量，得到所述源领域的未标注数据集对应的张量集，并根据所述目标领域的未标注数据集中每个未标注数据对应的张量，得到所述目标领域的未标注数据集对应的张量集。其中，在步骤1中，所述预设数据层集合由所述预设深度神经网络顶层和中间层中的若干数据层构成。其中，在步骤2中，所述鉴别器为一个输入为d维向量、输出在区间[0,1]上的全连接预设深度神经网络鉴别器；所述鉴别器的原始损失函数设定为：其中，和分别为所述源领域和所述目标领域的未标注数据集对应的张量集，和分别为所述源领域和所述目标领域的第i个未标注数据的张量，ns和nt分别为所述源领域和所述目标领域的未标注数据集中未标注数据的数目，和分别为所述源领域和所述目标领域的第i个未标注数据的张量的随机多线性融合表示；为所述预设数据层集合，z为张量，⊙是阿达马积，是一个维度为的随机矩阵，是数据层的维度，d为鉴别器输入向量的维度，为数据层的数据向量。其中，在步骤3中，所述预设深度神经网络在所述源领域的损失函数为在所述源领域的已标注数据集中所有已标注数据的交叉熵损失的均值。其中，所述预设深度神经网络在所述源领域的损失函数设定为：其中，ns为所述源领域的已标注数据集中已标注数据的数目，为所述源领域的第i个已标注数据的特征向量，为所述预设深度神经网络的决策函数，为所述源领域的第i个已标注数据的标签，J(·,·)是交叉熵损失函数。根据本专利技术的第二方面，提供一种面向跨界大数据分析的对抗迁移学习系统，其特征在于，包括：张量集获取模块和鉴别器的当前最佳损失函数获取模块和更新模块；所述张量集获取模块，用于将源领域的未标注数据集和目标领域的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域的未标注数据集对应的张量集和所述目标领域的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；所述鉴别器的当前最佳损失函数获取模块，用于将所述源领域和所述目标领域的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播，调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；所述更新模块，用于利用所述反向传播，最小化所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的权衡量之差，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述当前最佳损失函数的权衡量为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数乘以所述当前最佳损失函数。根据本专利技术的第三方面，提供一种计算机程序产品，其特征在于，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行如第一方面所述的方法。根据本专利技术的第四方面，提供一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方本文档来自技高网...

【技术保护点】
一种面向跨界大数据分析的对抗迁移学习方法，其特征在于，包括：步骤1，将源领域和目标领域各自的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域和目标领域各自的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；步骤2，将所述源领域和目标领域各自的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示，代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；步骤3，利用反向传播，将所述预设深度神经网络在所述源领域的损失函数减去平衡参数与所述当前最佳损失函数的乘积后最小化，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述平衡参数为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数。

【技术特征摘要】
1.一种面向跨界大数据分析的对抗迁移学习方法，其特征在于，包括：步骤1，将源领域和目标领域各自的未标注数据集输入至预设深度神经网络并正向传播，获取所述源领域和目标领域各自的未标注数据集对应的张量集；所述张量集中张量为对应未标注数据作为输入时，所述预设深度神经网络中预设数据层集合中所有数据层的数据向量的张量积；步骤2，将所述源领域和目标领域各自的未标注数据集对应的张量集中每个张量对应的随机多线性融合表示，代入鉴别器的原始损失函数，得到鉴别器的当前损失函数，并利用反向传播调整所述鉴别器的参数，以最小化所述当前损失函数，作为所述鉴别器的当前最佳损失函数；步骤3，利用反向传播，将所述预设深度神经网络在所述源领域的损失函数减去平衡参数与所述当前最佳损失函数的乘积后最小化，得到所述预设深度神经网络的新参数，用所述新参数更新所述预设深度神经网络的参数并再次进行所述正向传播以再一次更新所述预设深度神经网络的参数，直至参数收敛；所述平衡参数为所述预设深度神经网络在所述源领域的损失函数与所述当前最佳损失函数的平衡参数。2.根据权利要求1所述的方法，其特征在于，所述步骤1具体包括：步骤11，将所述源领域和目标领域各自的未标注数据集中的每个未标注数据依次输入至预设深度神经网络并正向传播，获取所述每个未标注数据下所述预设深度神经网络中预设数据层集合中每个数据层的数据向量；步骤12，计算所述数据向量的张量积，将所述张量积作为所述每个未标注数据对应的张量；步骤13，根据所述源领域的未标注数据集中每个未标注数据对应的张量，得到所述源领域的未标注数据集对应的张量集，并根据所述目标领域的未标注数据集中每个未标注数据对应的张量，得到所述目标领域的未标注数据集对应的张量集。3.根据权利要求1所述的方法，其特征在于，在步骤1中，所述预设数据层集合由所述预设深度神经网络顶层和中间层中的若干数据层构成。4.根据权利要求1所述的方法，其特征在于，在步骤2中，所述鉴别器为一个输入为d维向量、输出在区间[0,1]上的全连接预设深度神经网络鉴别器；所述鉴别器的原始损失函数设定为：其中，和分别为所述源领域和所述目标领域的未标注数据集对应的张量集，和分别为所述源领域和所述目标领域的第i个未标注数据的张量，ns和nt分别为所述源领域和所述目标领域的未标注数据集中未标注数据的数目，和分别为所述源领域和所述目标领域的第i个未标注数据的张量的随机多线性融合表示；为所述预设数据层集合，z为张量，⊙是阿达马积，Rl是一个维度为d×...

【专利技术属性】
技术研发人员：龙明盛，王建民，张育宸，黄向东，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11