一种基于局部知识增强的深度集成方法技术

本发明专利技术提出了一种基于局部知识增强的深度集成方法，包括以下两个阶段：S1.区域子集的知识扩展阶段：S1.1通过FCM算法将原始数据集划分为多个区域子集，S1.2在多个子集上训练局部分类模型DNN，各个DNN负责学习相应的局部样本；S1.3多重DNN以多机并行的方式执行，构成了栈式结构当中的一个层级，多层栈层的堆叠构建起深度集成模型(PH

【技术实现步骤摘要】
一种基于局部知识增强的深度集成方法


[0001]本专利技术涉及深度学习及数据处理的
，特别是一种基于局部知识增强的深度集成方法。

技术介绍

[0002]在大数据时代，深度学习由于具备强大的表征能力，在图像识别、自然语言处理等各个领域获得了蓬勃发展，基于深度学习的智能技术层出不穷。浅层模型如支持向量机等，由于自身的局限性，完全依赖于人工特征的提取，往往会导致原始信息下的隐含价值被忽略。而深度学习通过构建层次化的机器学习模型，将原始数据中的多维变量转变为更高层次的抽象表达。分层结构能够提取不同层级的特征，自下而上地逐级提炼信息。
[0003]除了通过深度学习不断添加网络单元、纵向地延展网络层级，还可以采用集成学习方法提升机器学习模型性能。目前，深度学习和集成学习的融合已经成为了机器学习的一个趋势。例如，现有文献提出的一种基于门控机制的堆叠目标相关自动编码器(Gated Stacked Target Related Autoencoder,GSTAE)来提高深度学习的建模性能。在分层预训练过程中，通过在损失函数中加入目标值的预测误差，利用目标相关信息来引导特征学习过程。此外，利用门控神经元控制信息从不同层级流向最终的输出神经元，最终输出神经元充分利用不同层次的抽象表示并量化相应的贡献度。例如，现有文献提出的一种基于宽度增长的多层表示学习模型，先通过多模态方法将多源特征信息增强为一种超状态编码，然后利用子网节点的增长来获取最优特征空间。在先前栈式结构的研究工作当中，利用堆叠泛化原理实现知识增强时仅是以串行方式联结多模块，尚未能充分调动可利用的计算资源；传统的浅层学习方法作为基本构造模块，实施简单，但其自身的特征学习能力仍有所欠缺。

技术实现思路

[0004]本专利技术的目的就是解决现有技术中的问题，提出一种基于局部知识增强的深度集成方法，有利于提高整体分类性能，充分调动可用计算资源，可适用于并行处理环境。
[0005]为实现上述目的，本专利技术提出了一种基于局部知识增强的深度集成方法，包括以下两个阶段：
[0006]S1.区域子集的知识扩展阶段：
[0007]S1.1通过FCM算法(Fuzzy C
‑
means,FCM)将原始数据集划分为多个区域子集；
[0008]S1.2在多个子集上训练局部分类模型DNN(Deep Neural Network,DNN)，各个DNN负责学习相应的局部样本；
[0009]S1.3多重DNN以多机并行的方式执行，构成了栈式结构当中的一个层级，多层栈层的堆叠构建起深度集成模型(PH
‑
E
‑
DNN)；
[0010]S2.多模块的输出集成阶段：采用多数投票策略对全局分类模型DNN的全局输出进行组合，得到最终决策输出。
[0011]作为优选，步骤S1.1具体包括以下步骤：FCM通过优化目标函数获得各个样本对所有类中心的隶属度，该目标函数为：
[0012][0013]上式中，C是划分数，N是样本数目，m是模糊指数，u
ij
∈[0,1]是样本x
j
属于第i簇的隶属程度，v
i
是聚类中心；
[0014]通过优化代价函数，推导出对于隶属度矩阵和聚类中心的计算公式：
[0015][0016][0017]当停止迭代后，得到空间划分后的矩阵。
[0018]作为优选，步骤S1.2中以自动编码器为局部分类模型DNN，具体包括以下步骤：自动编码器的学习过程分为编码器和解码器两部分；编码过程表示为：
[0019]h
i
＝s(W1x
i
+b1)
ꢀꢀꢀ
(4)
[0020]其中，W1、b1分别表示输入层和隐层的权重矩阵，隐层偏置；s表示激活函数，选择的激活函数为sigmoid函数；为了实现对原始数据的重构，解码过程表示为：
[0021]z
i
＝s(W2h
i
+b2)
ꢀꢀꢀ
(5)
[0022]其中，W2、b2分别表示隐层和输出层的权重矩阵，隐层偏置；s表示激活函数，选择的激活函数为sigmoid函数；
[0023]所有训练样本映射到隐层表示进行重构，使得重构误差最小化：
[0024]L(x,z)＝||x
‑
z||2ꢀꢀꢀ
(6)
[0025]使得重构表示z尽可能地逼近原始训练样例x；
[0026]降噪自编码器通过引入随机函数以一定概率将原始输入矩阵中的某些位置的元素置为零，得到被污染的数据；z表示降噪自编码器得到的重构数据，目标是最小化下面的代价函数：
[0027][0028]向自编码器中添加稀疏性约束后的自编码器称为稀疏自编码器，在稀疏自编码器中部分的节点取值为零，处于抑制状态，部分节点则处于激活状态；表示对于网络的给定输入，其隐含层单元的激活值，平均激活值可表示成：
[0029][0030]定义平均激活值后给定稀疏性约束，使得满足以下形式：
[0031][0032]上式中，ρ为稀疏性参数，为正值，表示第j个隐层单元在整个训练数据上的平均
激活值；
[0033]基于上述原理介绍，降噪稀疏自编码器的基本原理是通过对稀疏自编码器的输入执行降噪处理。根据公式(7)，降噪稀疏自编码器的重构误差可以表示如下：
[0034][0035]其中，J(W,b)中前一项表示均方误差项，J(W,b)的后一项表示正则化项或权重衰减项；也称KL
‑
散度，用于度量两者之间的不同程度：
[0036][0037]完成样本空间的模糊划分。
[0038]作为优选，步骤S1.3中，多重DNN针对区域子集进行学习，将局部分类模型DNN的决策信息转化为知识附加到原始特征空间中，继而形成局部的增强数据；将所有分区上的增强数据组合起来，生成新的全局输入数据集，具体包括以下步骤：
[0039]假定D0表示给定的原始输入特征，经过模糊聚类后形成的多个区域子集分别表示为多个区域子集满足和且将大规模样本分解到多个分区上，多重DNN对局部样本进行针对性的学习，对于不同的模糊区域或模糊子空间，多重DNN以不同角度获取对区域子集的数据描述，组合所有局部样本中的增强特征形成一个全局性质的增强数据；
[0040]同一栈层的多模块并行执行，得到的弱预测信息被整合起来，实现样本的知识增强；局部分类模型的输出表示为输出信息被视为分类知识，即作为增强特征供后续步骤使用；第一层的知识提取完成后，L个局部分类模型将局部样本的增强特征与原始数据空间一起合并为L个区域增强子集；最后，融合所有局部性质的区域增强子集，生成全局性质的增强数据。
[0041]作为优选，第一层中局部增强数据的规则表示为：
[0042][0043]其中，表示第一层栈层中的第L个局部分类模型所重构的区域增强子集；融合后的增强数据作为新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于局部知识增强的深度集成方法，其特征在于：包括以下两个阶段：S1.区域子集的知识扩展阶段：S1.1通过FCM算法将原始数据集划分为多个区域子集；S1.2在多个子集上训练局部分类模型DNN，各个DNN负责学习相应的局部样本；S1.3多重DNN以多机并行的方式执行，构成了栈式结构当中的一个层级，多层栈层的堆叠构建起深度集成模型；S2.多模块的输出集成阶段：采用多数投票策略对全局分类模型DNN的全局输出进行组合，得到最终决策输出。2.如权利要求1所述的一种基于局部知识增强的深度集成方法，其特征在于：步骤S1.1具体包括以下步骤：FCM通过优化目标函数获得各个样本对所有类中心的隶属度，该目标函数为：上式中，C是划分数，N是样本数目，m是模糊指数，u
ij
∈[0,1]是样本x
j
属于第i簇的隶属程度，v
i
是聚类中心；通过优化代价函数，推导出对于隶属度矩阵和聚类中心的计算公式：通过优化代价函数，推导出对于隶属度矩阵和聚类中心的计算公式：当停止迭代后，得到空间划分后的矩阵。3.如权利要求1所述的一种基于局部知识增强的深度集成方法，其特征在于：步骤S1.2中以自动编码器为局部分类模型DNN，具体包括以下步骤：自动编码器的学习过程分为编码器和解码器两部分；编码过程表示为：h
i
＝s(W1x
i
+b1)
ꢀꢀꢀꢀ
(4)其中，W1、b1分别表示输入层和隐层的权重矩阵，隐层偏置；为了实现对原始数据的重构，解码过程表示为：z
i
＝s(W2h
i
+b2)
ꢀꢀꢀꢀ
(5)其中，W2、b2分别表示隐层和输出层的权重矩阵，隐层偏置；s表示激活函数，选择的激活函数为sigmoid函数；所有训练样本映射到隐层表示进行重构，使得重构误差最小化：L(x,z)＝||x
‑
z||2ꢀꢀꢀꢀ
(6)使得重构表示z逼近原始训练样例x；降噪自编码器通过引入随机函数以一定概率将原始输入矩阵中的某些位置的元素置为零，得到被污染的数据；z表示降噪自编码器得到的重构数据，目标是最小化下面的代价函数：
向自编码器中添加稀疏性约束后的自编码器称为稀疏自编码器，在稀疏自编码器中部分的节点取值为零，处于抑...

【专利技术属性】
技术研发人员：张雄涛，蒋云良，楼俊钢，邬惠峰，潘宇，
申请(专利权)人：湖州师范学院，
类型：发明
国别省市：