一种基于多任务深度网络的多源大数据分析方法技术

本发明专利技术实施例提供了一种基于多任务深度网络的多源大数据分析方法及系统，所述方法包括：将待分析多源大数据输入训练好的多任务深度网络，得到所述待分析多源大数据的多个任务的分析结果；其中，所述训练好的多任务深度网络分类层的前一层具有与所述多个任务一一对应的多个网络参数，用于根据所述分类层前一层的输入特征得到所述分类层中每个分类器的输入特征。在训练得到用于多源大数据分析的多任务深度网络的过程中，将分类层的前一层设为不共享网络参数的特定任务相关层，更好的挖掘了不同任务之间的联系；利用张量正态分布作为先验概率来挖掘特定任务相关层网络参数之间的关系；使得训练后的多任务深度网络对多源大数据的分析更加快速准确。

Multi source and big data analysis method based on multi task deep network

The embodiment of the invention provides a multi-source and large data analysis method and system based on a multi task depth network. The method includes: a multi task depth network that is trained for the analysis of the multisource and large data input, and an analysis result of the multiple tasks to be analyzed. The first layer of the depth network classification layer has multiple network parameters corresponding to the multiple tasks one by one, which is used to obtain the input characteristics of each classifier in the classified layer according to the input characteristics of the first layer of the classification layer. In the process of training the multi task depth network for multi source and large data analysis, the first layer of the classification layer is set as a specific task correlation layer that does not share network parameters, and the connection between different tasks is excavated better. The tensor normal distribution is used as a priori probability to dig out the parameters of the specific task related layer network parameters. The multi task depth network after training is more rapid and accurate for the analysis of multi-source and big data.

【技术实现步骤摘要】
一种基于多任务深度网络的多源大数据分析方法
本专利技术实施例涉及大数据分析
，更具体地，涉及一种基于多任务深度网络的多源大数据分析方法及系统。
技术介绍
如今正处于大数据时代，互联网技术在日常生活、学习、工作中应用得越来越广泛，由此产生了大量数据，然而由于数据源多样、记录不规范等原因，数据绝大多数都是像图片、文本、视频等非结构数据，因此针对这类数据的分析和处理的方法就显得尤其重要。这类非结构化数据最大的特点就是缺少标签，而传统的机器学习方法往往需求大量的标记数据，如果强行应用在这类缺少标签的非结构化数据很容易造成过拟合，即很好的拟合了训练数据的特征，但由于泛化能力差在预测数据上表现往往不好。而如今应用广泛的深度神经网络技术，同样需求大量的有标签数据，才能通过大规模分布式并行计算获得理想的准确率。标记数据的稀缺，让人们开始思考新的解决方案：设计通用的算法来减少对标签数据的需求，尤其是利用从相关任务标记数据中挖掘出的现成信息。本专利技术所属的多任务学习即是基于这个思想：一个任务表现的性能可以通过利用相关任务的知识得到提高，即通过挖掘多源数据的可迁移特征以及任务间的联系满足数据分析的需求。知道任务之间的关系就可以将共享的知识从相关的任务迁移到所学任务中，因此只需要学习与特定任务相关的特征。任务关联的基本想法，激发了以下几种方法的产生：可以学习共享特征表示的多任务特征学习，以及可以学习任务之间固有关系的多任务关系学习。现有技术可以通过利用外部数据源，学习可转移的特性，并通过这些特性来减少归纳偏差的转移，从而使不同的任务能够更有效地关联起来。但是这些深度多任务学习方法不能很好地将任务关系建模，由于知识不能很好地从不同的分类器中迁移，可能会造成分类器层的负迁移，即迁移的知识对预测不能起到正面的效果。进而造成现有技术中的深度多任务学习方法得到的训练好的多任务深度网络，存在无法对多源大数据进行准确快速的分析的问题。
技术实现思路
本专利技术实施例提供了一种克服上述问题或者至少部分地解决上述问题的基于多任务深度网络的多源大数据分析方法及系统。一方面本专利技术实施例提供了一种基于多任务深度网络的多源大数据分析方法，所述方法包括：将待分析多源大数据输入至训练好的多任务深度网络，输出所述待分析多源大数据的多个任务的分析结果；其中，所述训练好的多任务深度网络的分类层的前一层具有多个网络参数，且所述多个网络参数与所述多个任务一一对应，所述分类层的前一层用于根据所述多个网络参数和所述分类层前一层的输入特征，得到所述分类层中每个分类器的输入特征。进一步地，在所述将待分析多源大数据输入至训练好的多任务深度网络之前，所述方法还包括：获取所述待分析多源大数据对应的训练数据集，并利用所述训练数据集自底向上对所述多任务深度网络的每层网络进行训练，得到每层网络的参数，再利用反向传播算法对每层网络的网络参数进行更新；重复上述步骤直至预设损失函数的值处于预设范围，得到所述训练好的多任务深度网络。进一步地，所述预设损失函数为特定任务相关层的网络参数的最大后验估计与所述多任务深度网络的经验损失之和，其中所述特定任务相关层的网络参数的最大后验估计通过以张量正态分布为先验概率对特定任务相关层的网络参数进行最大后验估计得到，所述特定任务相关层包括所述分类层和所述分类层的前一层。进一步地，所述多任务深度网络的经验损失为：其中，J为交叉熵损失函数，为第t个任务的样本，为第t个任务的标签，Nt为第t个任务的样本数，为将转换为的条件概率。进一步地，所述特定任务相关层中的每一层的网络参数张量的先验概率为：其中，为第层特定任务相关层的特征协方差矩阵，为第层特定任务相关层的标签协方差矩阵，为第层特定任务相关层的任务协方差矩阵，为的维度，为的维度，T为的维度，为总协方差矩阵维度为的张量正态分布，O为张量正态分布的均值。进一步地，所述特定任务相关层的网络参数的最大后验估计为：其中，为第t个任务的样本，为第t个任务的标签，为第层特定任务相关层的网络参数矩阵，为特定任务相关层的集合，Nt为第t个任务的样本数。进一步地，所述方法还包括：在利用反向传播算法对每层网络的网络参数进行更新时，利用flip-flop算法及克罗内克积来计算以及另一方面本专利技术实施例提供了一种基于多任务深度网络的多源大数据分析系统，所述系统包括：多源大数据分析模块，用于将待分析多源大数据输入至训练好的多任务深度网络，输出所述待分析多源大数据的多个任务的分析结果；其中，所述训练好的多任务深度网络的分类层的前一层具有多个网络参数，且所述多个网络参数与所述多个任务一一对应，所述分类层的前一层用于根据所述多个网络参数和所述分类层前一层的输入特征，得到所述分类层中每个分类器的输入特征。第三方面专利技术实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述方法。第四方面专利技术实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述方法。本专利技术实施例提供的一种基于多任务深度网络的多源大数据分析方法及系统，通过训练好的多任务深度网络分类层的前一层中与每个任务对应的网络参数，得到分类层中每个分类器的输入特征，更好的挖掘了多源大数据多个任务之间的关系，避免了在分类层中发生知识负迁移的情况，使得对多源大数据的分析更加快速准确。附图说明图1为本专利技术实施例提供的一种于多任务深度网络的多源大数据分析方法的流程图；图2为本专利技术实施例中基于AlexNet的多任务深度网络的结构示意图；图3为本专利技术实施例中基于AlexNet的多任务深度网络的训练流程示意图；图4为本专利技术实施例提供的一种基于多任务深度网络的多源大数据分析系统的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种基于多任务深度网络的多源大数据分析方法的流程图，如图1所示，所述方法包括：S1，将待分析多源大数据输入至训练好的多任务深度网络，输出所述待分析多源大数据的多个任务的分析结果；其中，所述训练好的多任务深度网络的分类层的前一层具有多个网络参数，且所述多个网络参数与所述多个任务一一对应，所述分类层的前一层用于根据所述多个网络参数和所述分类层前一层的输入特征，得到所述分类层中每个分类器的输入特征。具体地，由于大多数多任务学习方法只在分类器层使用多个独立的分类器，而在所有特征层中均共享网络参数，大多数多任务学习方法只在分类器层使用多个独立的分类器，而在所有特征层中均共享参数，所以在分类器层的前一层或者前多层对于每个任务采用不同的网络参数，可以挖掘多任务之间的相互关系。其中，所述分类层、所述分类层的前一层或者前多层作为特定任务相关层。本专利技术实施例提供的一种基于多任务深度网络的多源大数据分析方法，通过训练好的多任务深度网络本文档来自技高网...

【技术保护点】
一种基于多任务深度网络的多源大数据分析方法，其特征在于，所述方法包括：将待分析多源大数据输入至训练好的多任务深度网络，输出所述待分析多源大数据的多个任务的分析结果；其中，所述训练好的多任务深度网络的分类层的前一层具有多个网络参数，且所述多个网络参数与所述多个任务一一对应，所述分类层的前一层用于根据所述多个网络参数和所述分类层前一层的输入特征，得到所述分类层中每个分类器的输入特征。

【技术特征摘要】
1.一种基于多任务深度网络的多源大数据分析方法，其特征在于，所述方法包括：将待分析多源大数据输入至训练好的多任务深度网络，输出所述待分析多源大数据的多个任务的分析结果；其中，所述训练好的多任务深度网络的分类层的前一层具有多个网络参数，且所述多个网络参数与所述多个任务一一对应，所述分类层的前一层用于根据所述多个网络参数和所述分类层前一层的输入特征，得到所述分类层中每个分类器的输入特征。2.根据权利要求1所述方法，其特征在于，在所述将待分析多源大数据输入至训练好的多任务深度网络之前，所述方法还包括：获取所述待分析多源大数据对应的训练数据集，并利用所述训练数据集自底向上对所述多任务深度网络的每层网络进行训练，得到每层网络的参数，再利用反向传播算法对每层网络的网络参数进行更新；重复上述步骤直至预设损失函数的值处于预设范围，得到所述训练好的多任务深度网络。3.根据权利要求2所述方法，其特征在于，所述预设损失函数为特定任务相关层的网络参数的最大后验估计与所述多任务深度网络的经验损失之和，其中所述特定任务相关层的网络参数的最大后验估计通过以张量正态分布为先验概率对特定任务相关层的网络参数进行最大后验估计得到，所述特定任务相关层包括所述分类层和所述分类层的前一层。4.根据权利要求3所述方法，其特征在于，所述多任务深度网络的经验损失为：其中，J为交叉熵损失函数，为第t个任务的样本，为第t个任务的标签，Nt为第t个任务的样本数，为将转换为的条件概率。5.根据权利要求3所述方法，其特征在于，所述特定任务相关层中的每一...

【专利技术属性】
技术研发人员：龙明盛，王建民，陈新阳，黄向东，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11