基于加权的深度森林的机器学习方法技术

本发明专利技术提供了一种基于加权的深度森林的机器学习方法，其中深度森林包括多粒度扫描与级联森林；多粒度扫描可通过获取多个特征子集产生相应类向量，产生的类向量被拼接到原始的样本特征空间里，作为后面级联森林的输入特征；级联森林用以实现表征学习并包括随机森林和完全随机树森林，森林之间通过层级方式形成级联结构；通过计算每一级森林中每棵子树的预测精度的相应权重，再对各个子树的预测概率向量进行加权求和，从而找出整个森林的预测结果；不但提高了深度森林的预测精度，而且降低了级联级数。

【技术实现步骤摘要】
基于加权的深度森林的机器学习方法
本专利技术涉及一种加权的深度森林的机器学习方法，特别适用于图像处理、音频分析等应用领域。
技术介绍
深度森林(DeepForest，DF)与深度神经网络都是通过多级结构进行表征学习，但深度森林以其简单的训练模型以及不依赖于大量数据进行训练的特点弥补了深度神经网络的缺点，并逐渐被应用于工程实践中。可参考文献1：ZhouZH,FengJ.DeepForest:TowardsAnAlternativetoDeepNeuralNetworks[J].arXivpreprintarXiv:1702.08835.2017。深度森林由多粒度扫描(Multi-GrainedScanning)和级联森林两个部分组成。其中，多粒度扫描通过滑动窗口技术获取多个特征子集，以增强级联森林的差异性。级联森林则是将决策树组成的森林通过级联方式实现表征学习。深度森林沿用了深度学习对样本特征属性的逐层处理机制，利用多级结构实现表征学习。与深度学习不同之处主要表现在以下几个方面。首先，深度森林的级数是随着训练的不断深入自动调节的；其次，深度森林具有很少的超参数且对超参数不敏感；再次，深度森林具有较低的训练开销，既适用于大规模数据集也适用于小规模数据集；最后，其结构适用于并行处理。多粒度扫描主要处理高维数据和图像数据。整个多粒度扫描结构如图1所示，假设长度为n的一维特征向量，若使用长度为m的窗口进行滑动且每次滑动一个单位长度，将产生n-m+1个具有m维特征向量的数据子集；类似的，对于一个n×n的二维图像数据，若使用m×m的窗口进行滑动，每次滑动一个单位长度，将产生(n-m+1)2个具有m×m特征向量的数据子集。这些数据集将分别输入到1个完全随机森林和1个随机森林。对于c个类别的分类问题，经过两个不同的随机森林分类后，长度为n的一维特征向量将产生长度为2c(n-m+1)的类向量；类似的，对于一个n×n的二维图像数据，将产生长度为2c(n-m+1)2的类向量。随后，这些类向量将被拼接到原始的样本的特征空间里，作为后面级联森林的输入特征。级联森林主要由随机森林和完全随机树森林两种森林组成。森林之间通过层级方式形成级联结构。级联森林结构和森林中树的结构分别如图2、3所示。对于每一级森林，首先，训练样本通过k折交叉验证，训练其中各棵子树，与此同时，每棵子树对每个训练样本给出一个预测的类概率向量；其次，将测试样本输入训练得到的森林，每棵子树对每个测试样本也给出一个预测的类概率向量；再次，森林对所有子树预测的类概率向量按训练样本和测试样本分别计算平均类概率向量；最后，该级的所有森林将所有样本上的平均类概率向量与样本的原始特征向量拼接后作为下一级森林的输入特征。每级结束预测后，会在验证集上对预测结果进行评估，以决定是否扩展下一级。如果不再扩展，则在已扩展的级中，找出最优评估结果所对应的级，将所有森林在测试样本上的平均类概率向量算术平均后，取概率最高的类向量作为整个深度森林的预测结果。就每个样本而言，每个森林将其各个子树预测的类概率向量进行算术平均后，作为该森林的预测结果，并与样本的原始特征向量拼接，作为下一级的输入。由于森林中各个子树的预测精度是各不相同的，算术平均会导致子树的错误预测对整个森林的预测产生影响，进而随着级数增加，有可能使错误被进一步放大。有鉴于此，有必要设计一种改进的方法，以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种基于加权的深度森林的机器学习方法，其可提高深度森林的预测精度，降低级联级数。为实现上述专利技术目的，本专利技术提供了一种基于加权的深度森林的机器学习方法，其中深度森林包括多粒度扫描与级联森林；所述多粒度扫描可通过获取多个特征子集产生相应类向量，所述类向量被拼接到原始的样本的特征空间里，作为后面级联森林的输入特征；所述级联森林用以实现表征学习，其包括随机森林和完全随机树森林，森林之间通过层级方式形成级联结构；通过计算每一级森林中每棵子树的预测精度的相应权重，再对各个子树的预测概率向量进行加权求和，从而找出整个森林的预测结果。作为本专利技术的进一步改进，该方法包括输入训练样本集及测试样本集，执行以下步骤：步骤1：当训练样本集为高维数据集时，进行多粒度扫描；当训练样本集为低维数据集时，则无需进行多粒度扫描；步骤2：使用训练样本集训练子树，计算当前子树的预测准确率；步骤3：计算当前子树的权重；步骤4：根据各个子树的权重计算当前森林在训练样本集和测试样本集上的预测类概率矩阵；步骤5：使用各个森林的预测类概率矩阵计算当前级联森林在训练样本集和测试样本集上的预测类概率矩阵；步骤6：若评估需继续扩展下一级，则将当前级联森林的预测类概率矩阵拼接到原始特征空间，形成新的训练样本集和测试样本集，返回步骤1继续执行；及步骤7：若评估无需继续扩展下一级，则在已扩展的级中找出在训练样本集上预测准确率最高值所对应的级，将该级在测试样本集上的预测结果向量和预测准确率作为整个加权的深度森林的预测结果。作为本专利技术的进一步改进，获得子树的预测准确率的方法包括：步骤2-1：获得在训练样本集上子树预测的类概率矩阵：其中T为训练样本集，S为测试样本集，m和n分别为训练样本集T和测试样本集S的示例个数，c为类别标记的个数并记为L＝{l1,l2,...,lc}，设森林F包含t棵子树，记第k棵子树为Tk(k∈[1,t])，pij为第i个训练样本被子树Tk预测为类lj的概率；步骤2-2：获得子树对训练样本集的预测结果向量：其中函数Max(X)表示获取二维矩阵中行向量X的最大值元素所对应的列下标；当有多个相同的最大值时，取最小的列下标，令列下标从1开始；及步骤2-3：获得子树对训练样本集的预测准确率：ak＝Acc(Predict(Tk,T),Y(T))，其中函数Acc(X1,X2)表示两个同维向量X1,X2中相同位置元素相等的个数所占的比例，Y(T)是由训练样本集T的真实类映射到类集合中的下标所组成的向量。作为本专利技术的进一步改进，第k棵子树的权重通过以下公式计算：Wk∝log2(ak/(1-ak))。作为本专利技术的进一步改进，当前森林在训练样本集和测试样本集上的预测类概率矩阵分别通过以下方式计算:作为本专利技术的进一步改进，若当前级联森林中包含h个森林，那么第e级森林组合Ce在训练样本集T和测试样本集S上预测的类概率矩阵可分别由以下公式计算：作为本专利技术的进一步改进，第e级森林组合Ce在训练样本集T和测试样本集S上预测的类概率矩阵可改写成行向量组的形式，可分别得到第e级森林组合Ce对训练样本集T和测试样本集S的预测结果向量，分别如下：作为本专利技术的进一步改进，第e级森林组合分别在训练样本集T和测试样本集S上的预测准确率Aet和Aes可由以下公式分别计算:Aet＝Acc(Predict(Ce,T),Y(T))Aes＝Acc(Predict(Ce,S),Y(S)),其中Y(T)、Y(S)分别表示由训练样本集T、测试样本集S的真实类映射到类集合中的下标所组成的向量。本专利技术的有益效果为：相较于现有技术将深度森林中各棵子树对应不同的预测精度进行简单的算术平均的方法，本专利技术根据森林中每棵子树的预测精度计算其相应权重，再对各个子树的预测概率向量进行加权求和，克服了本文档来自技高网...

【技术保护点】
1.一种基于加权的深度森林的机器学习方法，其中深度森林包括多粒度扫描与级联森林；所述多粒度扫描可通过获取多个特征子集产生相应类向量，所述类向量被拼接到原始的样本的特征空间里，作为后面级联森林的输入特征；所述级联森林用以实现表征学习，其包括随机森林和完全随机树森林，森林之间通过层级方式形成级联结构；其特征在于：通过计算每一级森林中每棵子树的预测精度的相应权重，再对各个子树的预测概率向量进行加权求和，从而找出整个森林的预测结果。

【技术特征摘要】
1.一种基于加权的深度森林的机器学习方法，其中深度森林包括多粒度扫描与级联森林；所述多粒度扫描可通过获取多个特征子集产生相应类向量，所述类向量被拼接到原始的样本的特征空间里，作为后面级联森林的输入特征；所述级联森林用以实现表征学习，其包括随机森林和完全随机树森林，森林之间通过层级方式形成级联结构；其特征在于：通过计算每一级森林中每棵子树的预测精度的相应权重，再对各个子树的预测概率向量进行加权求和，从而找出整个森林的预测结果。2.根据权利要求1所述的基于加权的深度森林的机器学习方法，其特征在于：该方法包括输入训练样本集及测试样本集，执行以下步骤：步骤1：当训练样本集为高维数据集时，进行多粒度扫描；当训练样本集为低维数据集时，则无需进行多粒度扫描；步骤2：使用训练样本集训练子树，计算当前子树的预测准确率；步骤3：计算当前子树的权重；步骤4：根据各个子树的权重计算当前森林在训练样本集和测试样本集上的预测类概率矩阵；步骤5：使用各个森林的预测类概率矩阵计算当前级联森林在训练样本集和测试样本集上的预测类概率矩阵；步骤6：若评估需继续扩展下一级，则将当前级联森林的预测类概率矩阵拼接到原始特征空间，形成新的训练样本集和测试样本集，返回步骤1继续执行；及步骤7：若评估无需继续扩展下一级，则在已扩展的级中找出在训练样本集上预测准确率最高值所对应的级，将该级在测试样本集上的预测结果向量和预测准确率作为整个加权的深度森林的预测结果。3.根据权利要求2所述的基于加权的深度森林的机器学习方法，其特征在于：在所述步骤2中，子树的预测准确率通过以下方法获得：步骤2-1：获得在训练样本集上子树预测的类概率矩阵：其中T为训练样本集，S为测试样本集，m和n分别为训练样本集T和测试样本集S的示例个数，c为类别标记的个数并记为L＝{l1,l2,...,lc}，设森林F包含t棵子树，记第k棵子树为Tk(k∈[1,t])，pij为第...

【专利技术属性】
技术研发人员：夏正新，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32