基于多目标进化优化的基模型池生成方法技术

本发明专利技术属于机器学习领域，具体涉及一种面向集成学习的基模型池智能生成方法。在本发明专利技术中，先通过训练集T和集成模型信息初始化若干基模型，并构建基模型到多目标优化方法的解的映射规则；然后采用多目标寻优方法求解出集成学习中基模型生成问题的帕累托阈值前沿S，S表示为一组遴选基模型的解集。根据验证集V和指定的筛选规则选择指定数量的基模型，最后将选出的基模型作为集成学习的基模型，按照并行集成的方法构建集成模型。与现有技术相比，本发明专利技术数据利用率高，且遴选出的基模型更加优质。且遴选出的基模型更加优质。且遴选出的基模型更加优质。

【技术实现步骤摘要】
基于多目标进化优化的基模型池生成方法


[0001]本专利技术属于机器学习领域，具体涉及一种面向集成学习的基模型池智能生成方法。

技术介绍

[0002]单个学习器在很大概率上要么容易欠拟合要么容易过拟合，为了获得泛化性能优良的学习器，可以训练多个个体学习器，通过一定的融合策略，最终形成一个强学习器，或称为集成学习模型。
[0003]个体学习器又称为基模型。根据基模型性质，集成模型可以划分为同质模型和异质模型两类：同质模型是指由同一算法产生的，只有参数有所差异的相同类型基模型构建的集成模型；异质模型是指由不同类型基模型构建的集成模型。目前来说，同质模型的应用是广泛的，一般我们常说的集成学习的方法都是指的同质模型。而同质模型根据基模型之间的依赖关系可以划分为串行和并行两类：串行的原理是通过基模型之间的依赖，给错误分类样本一个较大的权重来提升模型的性能，代表是Boosting算法；并行的原理是利用基模型的独立性，通过平均以较大地降低误差，代表是Bagging算法。
[0004]Bagging获取基模型的基本原理是通过随机采样(Boots本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多目标进化优化的基模型池生成方法，其特征在于：包括以下步骤：步骤1、样本数据预处理：获取样本数据，并将样本数据预处理成算法需要的模式；步骤2、样本数据划分：将预处理后的样本数据划分为训练集T、验证集V和测试集M；步骤3、基模型结构选择：根据需要构建的集成模型确定出集成学习中所需基模型的类型和超参数；步骤4、基模型池训练：采用多目标进化优化方法对训练集T进行学习，得到一组互不占优的数据作为遴选基模型S；步骤5、基模型优选：将验证集V作为步骤4得到的遴选基模型S的输入，得到验证集V对应的输出集，并利用该输出集及验证集V真实输出计算出基模型的均方误差MSE；然后结合指定规则从步骤4得到的遴选基模型S中筛选出指定数量的基模型；步骤6、将步骤5得到的基模型作为集成学习的基模型，按照并行集成的方法构建集成模型。2.根据权利要求1所述的一种基于多目标进化优化的基模型池生成方法，其特征在于：所述步骤4中，采用多目标进化优化方法对基模型超参数进行训练，得到互不占优的一组基模型的详细过程为：步骤4.1、基模型初始化：以步骤3确定基模型类型和超参数为依据，初始化一组基模型，并确定基模型超参数到多目标寻优方法的解的映射规则；步骤4.2、基模型适应度评估：将训练集T输入到步骤1所得基模型中，并依据预设多目标寻优生成问题的优化目标计算出基模型的适应度值；步骤4.3、基模型进化迭代：通过进化算子迭代的方式对各基模型的超参数进行优化，推动基模型进化；步骤4.4、基模型池管理：利用步骤4.3所得基模型超参数，求解出所需基模型生成问题的帕累托(Pareto)阈值前沿S，若达到预设多目标进化优化方法停止条件则停止实验，此时的帕累托阈值前沿S即为遴选出的最优基模型的解集，否则继续执行步骤4.2至4.4；3.根据权利要求1所述的一种基于多目标进化优化的基模型池生成方法，其特征在于：上述集成学习中基模型池生成方法还包括：步骤7、对该集成模型的泛化性能评估，具体评估方法为：将测试集M输入到步骤6得到的集成模型中，通过计算得到一个输出集；计算测试集通过集成模型得到的输出集和已知该...

【专利技术属性】
技术研发人员：胡旺，李欣悦，章语，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：