基于加权的深度森林的机器学习方法技术

技术编号:20161105 阅读:39 留言:0更新日期:2019-01-19 00:13
本发明专利技术提供了一种基于加权的深度森林的机器学习方法,其中深度森林包括多粒度扫描与级联森林;多粒度扫描可通过获取多个特征子集产生相应类向量,产生的类向量被拼接到原始的样本特征空间里,作为后面级联森林的输入特征;级联森林用以实现表征学习并包括随机森林和完全随机树森林,森林之间通过层级方式形成级联结构;通过计算每一级森林中每棵子树的预测精度的相应权重,再对各个子树的预测概率向量进行加权求和,从而找出整个森林的预测结果;不但提高了深度森林的预测精度,而且降低了级联级数。

【技术实现步骤摘要】
基于加权的深度森林的机器学习方法
本专利技术涉及一种加权的深度森林的机器学习方法,特别适用于图像处理、音频分析等应用领域。
技术介绍
深度森林(DeepForest,DF)与深度神经网络都是通过多级结构进行表征学习,但深度森林以其简单的训练模型以及不依赖于大量数据进行训练的特点弥补了深度神经网络的缺点,并逐渐被应用于工程实践中。可参考文献1:ZhouZH,FengJ.DeepForest:TowardsAnAlternativetoDeepNeuralNetworks[J].arXivpreprintarXiv:1702.08835.2017。深度森林由多粒度扫描(Multi-GrainedScanning)和级联森林两个部分组成。其中,多粒度扫描通过滑动窗口技术获取多个特征子集,以增强级联森林的差异性。级联森林则是将决策树组成的森林通过级联方式实现表征学习。深度森林沿用了深度学习对样本特征属性的逐层处理机制,利用多级结构实现表征学习。与深度学习不同之处主要表现在以下几个方面。首先,深度森林的级数是随着训练的不断深入自动调节的;其次,深度森林具有很少的超参数且对超参数不敏感;再次,深本文档来自技高网...

【技术保护点】
1.一种基于加权的深度森林的机器学习方法,其中深度森林包括多粒度扫描与级联森林;所述多粒度扫描可通过获取多个特征子集产生相应类向量,所述类向量被拼接到原始的样本的特征空间里,作为后面级联森林的输入特征;所述级联森林用以实现表征学习,其包括随机森林和完全随机树森林,森林之间通过层级方式形成级联结构;其特征在于:通过计算每一级森林中每棵子树的预测精度的相应权重,再对各个子树的预测概率向量进行加权求和,从而找出整个森林的预测结果。

【技术特征摘要】
1.一种基于加权的深度森林的机器学习方法,其中深度森林包括多粒度扫描与级联森林;所述多粒度扫描可通过获取多个特征子集产生相应类向量,所述类向量被拼接到原始的样本的特征空间里,作为后面级联森林的输入特征;所述级联森林用以实现表征学习,其包括随机森林和完全随机树森林,森林之间通过层级方式形成级联结构;其特征在于:通过计算每一级森林中每棵子树的预测精度的相应权重,再对各个子树的预测概率向量进行加权求和,从而找出整个森林的预测结果。2.根据权利要求1所述的基于加权的深度森林的机器学习方法,其特征在于:该方法包括输入训练样本集及测试样本集,执行以下步骤:步骤1:当训练样本集为高维数据集时,进行多粒度扫描;当训练样本集为低维数据集时,则无需进行多粒度扫描;步骤2:使用训练样本集训练子树,计算当前子树的预测准确率;步骤3:计算当前子树的权重;步骤4:根据各个子树的权重计算当前森林在训练样本集和测试样本集上的预测类概率矩阵;步骤5:使用各个森林的预测类概率矩阵计算当前级联森林在训练样本集和测试样本集上的预测类概率矩阵;步骤6:若评估需继续扩展下一级,则将当前级联森林的预测类概率矩阵拼接到原始特征空间,形成新的训练样本集和测试样本集,返回步骤1继续执行;及步骤7:若评估无需继续扩展下一级,则在已扩展的级中找出在训练样本集上预测准确率最高值所对应的级,将该级在测试样本集上的预测结果向量和预测准确率作为整个加权的深度森林的预测结果。3.根据权利要求2所述的基于加权的深度森林的机器学习方法,其特征在于:在所述步骤2中,子树的预测准确率通过以下方法获得:步骤2-1:获得在训练样本集上子树预测的类概率矩阵:其中T为训练样本集,S为测试样本集,m和n分别为训练样本集T和测试样本集S的示例个数,c为类别标记的个数并记为L={l1,l2,...,lc},设森林F包含t棵子树,记第k棵子树为Tk(k∈[1,t]),pij为第...

【专利技术属性】
技术研发人员:夏正新
申请(专利权)人:南京邮电大学
类型:发明
国别省市:江苏,32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1