多准则融合应用于高维小样本数据特征选择的方法技术

本发明专利技术涉及一种多准则融合应用于高维小样本数据特征选择的方法包，其括以下步骤：1)初始化样本数据集并对其进行聚类；2)用Fisher Ratio方法与ReliefF法，分别对完成聚类的样本进行特征选取；3)融合特征选择结果并对各个类加以不同的惩罚因子，然后采用融合结果训练PSVM分类器；4)采用完成训练的分类器对样本数据集进行回归，并剔除相关性最小的特征，更新样本数据集；5)判断编码是否结束；如果是，则结束迭代；若果否，则重复步骤2～4，直到实现特征选择。本多准则融合应用于高维小样本数据特征选择的方法，于高维小样本数据特征选择领域，显著的加快了特征选择的速度和效率，并大大提高了特征选择结果的稳定性。

【技术实现步骤摘要】

本专利技术涉及一种特种选择方法，特别涉及一种多准则融合应用于高维小样本数据特征选择的方法。
技术介绍
特征选择是模式识别领域的核心问题之一，其研究得到了世界各国学者的重视。特征选择算法通过合理选择有效特征达到减少特征维数的目的，不但可以消除信息冗余，提高分类效率，加快运算速度，而且还可以降低分类器的复杂性和分类错误率。目前，特征选择方法已广泛应用到图像检索、文本分类和基因分析等方面。然而当前大多数特征选择算法的选择结果对于训练集的变化非常敏感，即算法稳定性较差。对于给定的数据集，某个具体的特征选择算法构成的模型可以得到最好的分类准确率，但当训练数据集发生变化时，特征选择算法需要重新训练才能有较好的分类结果。这种过拟合现象与特征选择方法及分类算法均有关。这个问题在高维小样本数据集上尤为突出，具体表现为训练数据集即使只发生了稍微改变，得到的最优特征子集也会出现较大的差异，分类模型的性能也会发生较大的变化。因此，为了提高分类性能的可信度，在对高维小样本数据集降维的同时，我们需要选用稳定性高的特征选择算法。
技术实现思路
本专利技术要解决的技术问题是如何克服现有技术的上述缺陷，基于聚类和信息融合的思想，提出一种新颖的特征选择方法——基于多准则融合的多项式核支持向量机(MCF-PSVM)，并以此为基础，提供一种多准则融合应用于高维小样本数据特征选择的方法。为解决上述技术问题，本多准则融合应用于高维小样本数据特征选择的方法包括以下步骤：步骤1)：初始化样本数据集并对其进行聚类；步骤2)：用Fisher Ratio方法与ReliefF法，分别对完成聚类的样本进行特征选取；步骤3)：融合特征选择结果并对各个类加以不同的惩罚因子，然后采用融合结果训练PSVM分类器；步骤4)：采用完成训练的分类器对样本数据集进行回归，并剔除相关性最小的特征，更新样本数据集；步骤5)：判断编码是否结束；如果是，则结束迭代；如果否，则重复步骤2～4，直到实现特征选择。作为进一步具体说明：步骤1)所述聚类具体方法为，采用k-均值聚类方法对训练样本进行聚类，其中第k个群聚用集合Gk来表示，假设Gk包含n笔资料{x1,x2,…xn本文档来自技高网...

【技术保护点】
一种多准则融合应用于高维小样本数据特征选择的方法，其特征是：该方法包括以下步骤：步骤1)：初始化样本数据集并对其进行聚类；步骤2)：用Fisher Ratio方法与ReliefF法，分别对完成聚类的样本进行特征选取；步骤3)：融合特征选择结果并对各个类加以不同的惩罚因子，然后采用融合结果训练PSVM分类器；步骤4)：采用完成训练的分类器对样本数据集进行回归，并剔除相关性最小的特征，更新样本数据集；步骤5)：判断编码是否结束；如果是，则结束迭代；如果否，则重复步骤2～4，直到实现特征选择。

【技术特征摘要】
1.一种多准则融合应用于高维小样本数据特征选择的方法，其特征是：该方法包括以下步骤：步骤1)：初始化样本数据集并对其进行聚类；步骤2)：用Fisher Ratio方法与ReliefF法，分别对完成聚类的样本进行特征选取；步骤3)：融合特征选择结果并对各个类加以不同的惩罚因子，然后采用融合结果训练PSVM分类器；步骤4)：采用完成训练的分类器对样本数据集进行...

【专利技术属性】
技术研发人员：江竹，雷震宇，
申请(专利权)人：西华大学，
类型：发明
国别省市：四川;51