一种深度学习神经网络的分解与合成方法和系统技术方案

本发明专利技术公开了一种深度学习神经网络的分解与合成方法和系统，具体为：首先获取输入数据变量与输出数据变量集合；然后将输入数据变量集合分解为N个子集；接着初始化第一深度学习神经网络；然后初始化第二深度学习神经网络；然后初始化第三深度学习神经网络；接着对每个子集对应的第一深度学习神经网络进行无监督训练；然后对第二深度学习神经网络进行无监督训练；最后对第二或第三深度学习神经网络进行有监督训练。本发明专利技术将输入数据变量集合分解为多个子集，并为每个子集初始化一个深度学习神经网络，再以所有深度学习神经网络的输出层为输入层初始化一个深度学习神经网络，降低了深度学习的数据维度和计算复杂度，改进了深度学习神经网络的效果。

A deep learning neural network decomposition and synthesis method and system

The invention discloses a method and system for the decomposition and synthesis of deep learning neural networks, which is first to obtain the set of input data variables and output data variables, and then decomposes the set of input data variables into N subsets; then initializes the first depth learning neural network, and then initializes the second depth learning nerve. Network; then initializes third deep learning neural networks; then unsupervised training for the first depth learning neural network corresponding to each subset; then unsupervised training for second deep learning neural networks; and finally supervised training for second or third depth learning neural networks. This invention decomposes the set of input data variables into multiple subsets, initializes a deep learning neural network for each subset and initializes a deep learning neural network with the output layer of all deep learning neural networks as the input layer, which reduces the data dimension and computational complexity of depth learning, and improves the depth of learning. The effect of the neural network.

【技术实现步骤摘要】
一种深度学习神经网络的分解与合成方法和系统
本专利技术涉及一种深度学习神经网络方法和系统，特别是一种深度学习神经网络的分解与合成方法和系统。
技术介绍
现有深度学习神经网络能处理的输入数据变量数和输出数据变量数非常多时，就会导致计算复杂度的剧增，导致训练困难及训练得到的深度学习神经网络的应用效果差。可以理解：数据变量数就是数据的维度，所以数据变量数越多，则数据维度越高，则复杂性呈指数级别增长。例如，现有深度学习神经网络一般只能在训练中学习2个时间点的数据之间的相关性，然后根据一个时间点的数据来预测另一个时间点的数据。如果输入数据变量是多个时间点数据则会导致训练非常复杂，并会导致训练和预测的效果差。
技术实现思路
本专利技术所解决的技术问题在于提供一种深度神经网络的分解与合成方法和系统。实现本专利技术目的的技术解决方案为：一种深度神经网络的分解与合成方法，包括以下步骤：步骤1、获取输入数据变量集合A、输出数据变量集合B。步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，对输入数据变量进行聚类，将输入数据变量集合A中输入数据变量聚类到不同的子集中，获得N个子集；所述N大于等于1。步骤3、为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量。步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述N个第一深度学习神经网络的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量。步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成。其中，第三深度学习神经网络，具体为：第三深度学习神经网络的输入层由所述N个第一深度学习神经网络的输入层组成，第三深度学习神经网络的输出层由所述第二深度学习神经网络的输出层组成，第三深度学习神经网络的隐藏层由所述N个第一深度学习神经网络的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，第三深度学习神经网络的分类器由所述第二深度学习神经网络的分类器组成。步骤6、获取训练输入数据，并将训练输入数据划分为N个输入子数据，该N个输入子数据分别对应于所述N个子集各自的输入数据变量。步骤7、由N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，获得每个输入子数据对应的顶层特征。步骤8、将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，分别作为第一输入数据及其对应的第一输出数据，然后执行步骤10或步骤11。步骤10、对第二深度学习神经网络进行有监督训练，获得训练后的第二深度学习神经网络。具体为：步骤10-1、将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据；步骤10-2、将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。步骤11、对第三深度学习神经网络进行有监督训练，获得训练后的第三深度学习神经网络。具体为：将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。本专利技术的另一目的采取的技术方案为：一种深度学习神经网络的分解与合成系统，包括数据变量集合获取模块、输入数据聚类模块、初始化模块、数据分解模块、无监督训练模块、数据获取模块、有监督训练模块；其中，所述数据变量集合获取模块，用于获取输入数据变量集合A及输出数据变量集合B；所述输入数据聚类模块，用于将输入数据变量集合A中相关性大的输入数据变量聚类到同一个子集中，获得N个子集。所述初始化模块，用于初始化深度学习神经网络。具体包括：初始化第一深度学习神经网络单元，用于为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；初始化第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有最顶层隐藏层节点作为第二深度学习神经网络的输入层节点，将数据变量集合B中的数据变量作为第二深度学习神经网络的输出数据；初始化第三深度学习神经网络单元，用于将所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络进行组合。所述数据分解模块，用于将训练输入数据划分为与所述N个子集各自的输入数据变量对应的N个输入子数据。所述无监督训练模块，用于对深度学习神经网络进行无监督训练。具体包括：无监督训练第一深度学习神经网络单元，用于N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，并获得每个输入子数据对应的顶层特征；无监督训练第二深度学习神经网络单元，用于将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练。所述数据获取模块，用于获取第一输入数据及其对应的第一输出数据。所述有监督训练模块，用于对深度学习神经网络进行有监督训练。具体包括：有监督训练第二深度学习神经网络单元，用于先将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据，然后将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练；有监督训练第三深度学习神经网络单元，用于将第一输入数据中与所述N个子集各自的数据变量对应的数据作为第三深度学习神经网络的输入数据，并将对应的第一输出数据作为第三深度学习神经网络的输出数据，对第三深度学习神经网络进行有监督训练。本专利技术与现有技术相比，其显著优点为：本专利技术通过将输入数据变量集合分解为多个输入数据变量子集，然后为每个子集初始化一个深度学习神经网络，再以所有深度学习神经网络的输出层为输入层初始化一个深度学习神经网络，从而降低深度学习的数据维度和计算复杂度的同时改进深度学习神经网络的效果。本专利技术在分解时使得子集内部各数据变量强相关，子集之间弱相关。本专利技术将强相关的数据变量放到同一个子集中由同一个深度学习神经网络进行无监督训练，从而使得子集的深度学习神经网络的隐藏层能反映出子集中各数据变量及其之间的相关性。本专利技术将各子集神经网络的隐藏层作为一个用于综合各子集的深度学习神经网络或其他类型神经网络的输入，最终得到的输出作为所有输入数据变量对应的输出数据。下面结合附图对本专利技术作进一步详细描述。附图说明图1为本专利技术的深度神经网络的分解与合成方法的流程图。图2为本专利技术的深度神经网络的分解与合本文档来自技高网...

【技术保护点】
1.一种深度学习神经网络的分解与合成方法，其特征在于，包括以下步骤：步骤1、获取输入数据变量集合A、输出数据变量集合B；步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，对输入数据变量进行聚类，将输入数据变量集合A中输入数据变量聚类到不同的子集中，获得N个子集；所述N大于等于1；步骤3、为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述N个第一深度学习神经网络的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量；步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成；步骤6、获取训练输入数据，并将训练输入数据划分为N个输入子数据，该N个输入子数据分别对应于所述N个子集各自的输入数据变量；步骤7、由N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，获得每个输入子数据对应的顶层特征；步骤8、将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练；步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，分别作为第一输入数据及其对应的第一输出数据，然后执行步骤10、步骤11；步骤10、对第二深度学习神经网络进行有监督训练，获得训练后的第二深度学习神经网络；步骤11、对第三深度学习神经网络进行有监督训练，获得训练后的第三深度学习神经网络。...

【技术特征摘要】
1.一种深度学习神经网络的分解与合成方法，其特征在于，包括以下步骤：步骤1、获取输入数据变量集合A、输出数据变量集合B；步骤2、根据输入数据变量集合A中输入数据变量之间的相关性大小，对输入数据变量进行聚类，将输入数据变量集合A中输入数据变量聚类到不同的子集中，获得N个子集；所述N大于等于1；步骤3、为所述N个子集中的每个子集初始化一个对应的第一深度学习神经网络，获得N个第一深度学习神经网络，然后将每个子集中的所有输入数据变量作为该子集对应的第一深度学习神经网络的输入数据变量；步骤4、初始化一个第二深度学习神经网络，该第二深度学习神经网络的输入层节点为所述N个第一深度学习神经网络的所有最顶层隐藏层节点，输出数据变量为所述输出数据变量集合B中的数据变量；步骤5、初始化一个第三深度学习神经网络，该第三深度学习神经网络由所述N个第一深度学习神经网络的输入层至最顶层隐藏层与所述第二深度学习神经网络组合构成；步骤6、获取训练输入数据，并将训练输入数据划分为N个输入子数据，该N个输入子数据分别对应于所述N个子集各自的输入数据变量；步骤7、由N个输入子数据分别对各自对应的子集所对应的第一深度学习神经网络进行无监督训练，获得每个输入子数据对应的顶层特征；步骤8、将所述N个第一深度学习神经网络的所有顶层特征数据作为第二深度学习神经网络的输入数据，对第二深度学习神经网络进行无监督训练；步骤9、获取训练输入数据中存在对应输出数据的输入数据及其对应的输出数据，分别作为第一输入数据及其对应的第一输出数据，然后执行步骤10、步骤11；步骤10、对第二深度学习神经网络进行有监督训练，获得训练后的第二深度学习神经网络；步骤11、对第三深度学习神经网络进行有监督训练，获得训练后的第三深度学习神经网络。2.根据权利要求1所述的深度学习神经网络的分解与合成方法，其特征在于，步骤5中所述第三深度学习神经网络，具体构成为：第三深度学习神经网络的输入层由所述N个第一深度学习神经网络的输入层组成，第三深度学习神经网络的输出层由所述第二深度学习神经网络的输出层组成，第三深度学习神经网络的隐藏层由所述N个第一深度学习神经网络的所有隐藏层及所述第二深度学习神经网络的所有隐藏层组成，第三深度学习神经网络的分类器由所述第二深度学习神经网络的分类器组成。3.根据权利要求1所述的深度学习神经网络的分解与合成方法，其特征在于，步骤10所述对第二深度学习神经网络进行有监督训练，具体为：步骤10-1、将第一输入数据中与所述N个子集各自的数据变量对应的数据分别作为各子集对应的第一深度学习神经网络的输入，由此得到各子集对应的第一深度学习神经网络的顶层特征数据；步骤10-2、将所述顶层特征数据作为第二深度学习神经网络的输入数据，并将对应的第一输出数据作为第二深度学习神经网络的输出数据，对第二深度学习神经网络进行有监督训练。4.根据权利要求1所述的深度学习神经网络的分解与合成方法，其特征在于，步骤11对第三深度学习神经网络进行有监督训练，具体为：将第一输入数据中与所述N...

【专利技术属性】
技术研发人员：朱定局，
申请(专利权)人：大国创新智能科技东莞有限公司，
类型：发明
国别省市：广东,44