一种基于进化算法的深度集成结构搜索方法技术

本发明专利技术公开了一种基于进化算法的深度集成结构搜索方法，包括如下步骤：S1：初始化结构种群；S2：进化阶段；进化阶段中重复多个进化步，每个进化步中，算法从种群中选取S个个体；S3：比较S个个体的性能，将性能最优的个体进行变异产生新的个体，并将孩子个体评估并加入种群；S4：将具有最大年代的个体从种群中移除；S5：所有个体的年代增长1，进入下一个进化步，如此往复直至进化步数达到指定值，本发明专利技术借助进化算法对深度集成学习结构和超参数进行统一搜索，可以针对不同任务适配表现更优异的深度集成学习结构，实验结果表明，本发明专利技术针对深度集成学习结构进行自动化搜索，能获得相比深度森林更优异的深度集成学习模型。

A deep integration structure search method based on evolutionary algorithm

【技术实现步骤摘要】
一种基于进化算法的深度集成结构搜索方法
本专利技术涉及深度集成学习、自动化机器学习
，具体为一种基于进化算法的深度集成结构搜索方法。
技术介绍
在机器学习任务中，具有深度结构的模型往往能够在复杂任务中得到较好的学习效果。举例而言，深度神经网络，通过深度结构来学习数据的表征，在许多领域中取得了巨大成功，尤其是数据的原始表示离适合学习的表示相差较远时，例如图像处理、自然语言处理、语音处理等。但是，仍然有大量的机器学习任务，其原始数据样本是离散的、表格型和有结构的，例如点击率预测数据、欺诈交易检测数据以及诸多的工业数据等。对于这类数据，深度神经网络并不比传统的机器学习算法要优越，反而一些传统树型集成算法，例如XGBoost、LightGBM、GBDT以及随机森林算法等常常拥有更好的性能。原因主要有三，首先表格型数据规模一般较小，DNN不适用。其次，对于这类数据往往无法直接进行反向传播。最后，这类数据不像图像、序列数据集那样，数据原始表示和其内在的模式相差较远。这些表格型数据集往往包含了人工提取的良好特征，其特征与机器学习要挖掘的内在模式联系较大本文档来自技高网...

【技术保护点】
1.一种基于进化算法的深度集成结构搜索方法，其特征在于：包括如下步骤：/nS1：初始化结构种群，种群中包含P个深度集成学习结构，其中，P个所述深度集成学习结构标识有唯一DNA编码；在初始化阶段，首先随机选择P个结构，然后在目标数据集上进行评估得出性能，将它们加入种群；/nS2：进化阶段；进化阶段中重复多个进化步，每个进化步中，算法从种群中选取S个个体；/nS3：比较S个个体的性能，将性能最优的个体进行变异产生新的个体，并将孩子个体评估并加入种群；/nS4：将具有最大年代的个体从种群中移除；/nS5：所有个体的年代增长1，进入下一个进化步，如此往复直至进化步数达到指定值。/n

【技术特征摘要】
1.一种基于进化算法的深度集成结构搜索方法，其特征在于：包括如下步骤：
S1：初始化结构种群，种群中包含P个深度集成学习结构，其中，P个所述深度集成学习结构标识有唯一DNA编码；在初始化阶段，首先随机选择P个结构，然后在目标数据集上进行评估得出性能，将它们加入种群；
S2：进化阶段；进化阶段中重复多个进化步，每个进化步中，算法从种群中选取S个个体；
S3：比较S个个体的性能，将性能最优的个体进行变异产生新的个体，并将孩子个体评估并加入种群；
S4：将具有最大年代的个体从种群中移除；
S5：所有个体的年代增长1，进入下一个进化步，如此往复直至进化步数达到指定值。


2.根据权利要求1所述的一种基于进化算法的深度集成结构搜索方法，其特征在于：进化以改变结构的DNA编码的变异的形式呈现。


3.根据权利要求1所述的一种基于进化算法的深度集成结构搜索方法，其特征在于：步骤S1中，深度集成学习结构的DNA编码即为基本级联层的DNA编码，级联层的编码形式是<组合方式>#<超参数>#<块编码>#<块编码>..#<块编码>。


4.根据权利要求1所述的一种基于进化算法的深度集成结构搜索方法，其特征在于：级联层的基本单元是块，每个块的DNA编码为<组合方式(H/S)>/<数量>/<基学习算法>。


5.根据权利要求1所述的一种基于进化算法的深度...

【专利技术属性】
技术研发人员：朱光辉，
申请(专利权)人：江苏鸿程大数据技术与应用研究院有限公司，
类型：发明
国别省市：江苏;32