一种基于多模态多目标的特征选择算法制造技术

本发明专利技术提出了一种基于多模态多目标的特征选择算法，该算法包括以下步骤：对训练数据集进行初始化种群个体，对生成的种群个体进行非支配排序；以KNN的预测精度和选择的特征个数计算适应度值和SDE指标值；根据SDE指标值计算FER值；根据FER值采用轮盘赌策略选中父代个体，通过变异和交叉操作生成新个体，将新个体再进行非支配排序和变异操作；形成新种群，并计算适应度值，将新种群与初始化种群放入档案集中，并进行非支配排序和计算相应的SDE指标值，以帕累托前沿数最下和SDE指标值最下为准则保留档案集中前N个个体。本发明专利技术搜索多个最优或次优特征子集，这些解集可用于设计选择特征数量少、分类精度高的学习器以供决策者进行选择。选择。选择。

【技术实现步骤摘要】
一种基于多模态多目标的特征选择算法


[0001]本专利技术涉及一种基于多模态多目标的特征选择算法。

技术介绍

[0002]许多进化算法已被用于特征选择，如PSO，GA，DE，ACO，GP等，这些早期的方法是把特征选择问题建模成单目标优化问题，并使用单目标进化算法解决该问题。然而，特征选择中所需要优化的目标不止一个，如分类精度、选择特征的数量、计算复杂度和计算时间等。随后，多目标优化算法也被用来解决特征选择问题。特征选择的目的是从初始数据集中选择出相关的特征来辨别不同类别，而这些特征子集可能并不是唯一的。文献(Kamyab S,Eftekhari M.Feature selection using multimodal optimization techniques[J].Neurocomputing,2016,171:586
‑
597)使用多模态进化算法求解特征选择问题，希望求得多样性好的特征子集，该研究把选择特征的个数和分类错误率加权求和，进而转换成多模态单目标优化问题进行求解，这样虽然最终得到的特征子集能够获得很高的分类精度，但选择的特征数量可能较多。
[0003]特征选择中有两个主要的待优化目标：即分类精度和选择特征的个数，这两个待优化的目标中，选择特征的个数越少越好，分类精度越高越好，最终需要找到两个目标的最优折衷解集。然而，在这个最优折衷解集中可能存在不同的特征组合，它们具有相同的特征个数，且使用这些特征组合可以达到相同的分类精度，这种情况即是特征选择中的多模态多目标优化问题。如何解决特征选择中多模态多目标优化问题，是我们目前迫切需要考虑的问题。
[0004]多模态多目标优化问题具有多个帕累托解集(Pareto Set，PS)，且有可能同时存在局部和全局帕累托解集，因此若要解决多模态多目标优化问题，求解算法需要具有跳出局部最优的能力，且可以一次提供多个满意解。基于适应度欧氏距离比的差分进化算法(FERDE算法)可以根据自身的信息交互和学习机制自适应地生成若干生境，且在不预先设定小生境半径的情况下找到多个全局最优或次优解。该类算法驱使种群内的个体向比自己优秀且距离较近的个体学习，且不需要预先定义生境的个数、半径等参数，因此具有稳定性强和结构简单的优点。

技术实现思路

[0005]本专利技术提出一种基于多模态多目标的特征选择(Feature Selection Based on Fitness Euclidean
‑
distance Ratio Differential Evolution Multimodal Multiobjective Optimization,FS_FERDE_MMO)算法，该算法以KNN的预测精度和选择的特征个数为适应度值，采用FERDE_MMO算法在搜索空间搜索多个最优或次优特征子集，这些解集可用于设计选择特征数量少、分类精度高的学习器以供决策者进行选择。
[0006]本专利技术的技术方案是这样实现的：一种基于多模态多目标的特征选择算法，包括以下步骤：
[0007](1)采用十折交叉验证方法将初始数据集分为训练数据集和测试数据集，训练数据集用于计算每个个体的适应度，测试数据集用于验证分类的结果；
[0008](2)对训练数据集进行初始化种群个体，随机对每个个体进行编码，“1”代表对应特征被选择，“0”代表未被选择，对生成的种群个体进行非支配排序；
[0009](3)以KNN的预测精度和选择的特征个数计算每个个体的适应度值，并计算SDE(基于偏移的密度估计策略，Shift
‑
Based Density Estimation)指标值；
[0010](4)根据适应度值的SDE指标值计算每个个体的适应度欧式距离比(FER值)；根据FER值，采用轮盘赌策略选中父代个体；通过变异和交叉操作生成新个体；
[0011](5)将步骤(4)中得到的新个体再进行非支配排序，选择排序在前50％的种群个体采用DE/rand/2策略进行变异操作，并对变异过程中超出边界的个体进行边界处理；
[0012](6)将步骤(4)和(5)所得个体合并形成新种群，并计算适应度值；
[0013](7)将步骤(6)的新种群与步骤(2)中的初始化种群放入档案集中，并对档案集中个体进行非支配排序和计算相应的SDE指标值；
[0014](8)以步骤(7)档案集中个体的帕累托(Pareto)前沿数最下和SDE指标值最下为准则选取档案集中前N个个体作为保留下来的个体。
[0015]进一步地，步骤(3)中，SDE指标值采用公式(1)进行计算：
[0016][0017]其中，表示P的第i个目标值，M为目标个数，个体P的值定义为该个体与种群中其他个体之间最小偏移密度估计距离。
[0018]进一步地，步骤(5)中，DE/rand/2策略的表达式如下：
[0019][0020]其中，r
1i
,r
2i
,r
3i
,r
4i
,r
5i
为[1,NP]内整数的互异个体索引号，且与索引号i不同，F∈[0,1]，F为缩放因子，NP为种群大小，G为迭代次数。
[0021]进一步地，步骤(5)中，对于变异过程中超出边界的个体进行边界处理，其计算公式如(3)所示：
[0022][0023]其中，F取0.9。
[0024]进一步地，步骤(4)中，FER值的计算公式如下：
[0025][0026]其中，FER
(j,i)
指的是种群内个体i和j之间的适应度欧氏距离比；p
i
和p
j
分别为个体i和j的历史最优位置；p
w
为种群内当前种群个体的最差位置，f(p
j
)和f(p
w
)分别为p
j
和p
w
对应的适应度；
[0027]采用轮盘赌策略，选择FER值大的个体作为父代个体，然后通过变异和交叉操作产生子代个体，变异操作的公式如下：
[0028]v
p
＝x
r1
+rand(1,D)
·
(x
r2
‑
x
r3
) (5)
[0029]其中，v
p
是变异个体，x
r1
,x
r2
和x
r3
是由轮盘赌选择方法产生的三个不同的父代个体，D是父代个体的长度(即数据维度)；
[0030]对生成的每个变异个体向量及其对应的父代个体向量进行交叉操作，交叉操作如公式(6)所示：
[0031][0032]其中，u
p,d
是子代个体，p为历史最优位置，CR是交叉概率，是一个在[0,1]范围的常数，ν
p,d
是变异个体，χ
p,d
为目标个体，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态多目标的特征选择算法，其特征在于：包括以下步骤：(1)采用十折交叉验证方法将初始数据集分为训练数据集和测试数据集，训练数据集用于计算每个个体的适应度，测试数据集用于验证分类的结果；(2)对训练数据集进行初始化种群个体，随机对每个个体进行编码，“1”代表对应特征被选择，“0”代表未被选择，对生成的种群个体进行非支配排序；(3)以KNN的预测精度和选择的特征个数计算每个个体的适应度值，并计算SDE指标值；(4)根据适应度值的SDE指标值计算每个个体的适应度欧式距离比(FER值)；根据FER值，采用轮盘赌策略选中父代个体；通过变异和交叉操作生成新个体；(5)将步骤(4)中得到的新个体再进行非支配排序，选择排序在前50％的种群个体采用DE/rand/2策略进行变异操作，并对变异过程中超出边界的个体进行边界处理；(6)将步骤(4)和(5)所得个体合并形成新种群，并计算适应度值；(7)将步骤(6)的新种群与步骤(2)中的初始化种群放入档案集中，并对档案集中个体进行非支配排序和计算相应的SDE指标值；(8)以步骤(7)档案集中个体的帕累托前沿数最下和SDE指标值最下为准则选取档案集中前N个个体作为保留下来的个体。2.根据权利要求1所述的一种基于多模态多目标的特征选择算法，其特征在于：步骤(3)中，SDE指标值采用公式(1)进行计算：其中，表示P的第i个目标值，M为目标个数，个体P的值定义为该个体与种群中其他个体之间最小偏移密度估计距离。3.根据权利要求1所述的一种基于多模态多目标的特征选择算法，其特征在于：步骤(5)中，DE/rand/2策略的表达式如下：其中，r
1i
,r
2i
,r
3i
,r
4i
,r
5i
为[1,NP]内整数的互异个体索引号，且与索引号i不同，F∈[0,1]，F为缩放因子，NP为种群大小，G为迭代次数。4.根据权利要求3所述的一种基于多模态多目标的特征选择算法，其特征在于：步骤(5)中，对于变异过程中超出边界的个体进行边界处理，其计算公式如(3)所示：其中，F取0.9。5.根据权利要求1所述的一种基于多模态多目标的特征选择算法，其特征在于：步骤(4)中，FER值的计算公式如下：其中，FER
(j,i)
指的是种群内个体i和j之间的适应度欧氏距离比；p
i
和p
j
分...

【专利技术属性】
技术研发人员：王艳丽，梁静，岳彩通，胡毅，崔丹丹，
申请(专利权)人：郑州经贸学院，
类型：发明
国别省市：