一种具有智能参数优化模块的SVM分类预测方法技术

一种具有智能参数优化模块的SVM分类预测方法，属于模型参数优化与机器学习分类预测技术领域。选择两个特征数不同的两个数据样本集，并将此数据样本集中90％的样本作为训练集，10％的样本作为测试集；采用上述两个样本集，对所提出的具有遗传优化参数功能模块的SVM进行学习、训练和验证；分别采用手动配置参数法和网格法优化法，对SVM的参数进行优化，并对上述数据样本集进行训练和测试，并将所得结果与基于遗传模块的SVM特征分类方法进行比较，说明所提出方法的有效性。优点在于，能够极大提升SVM的分类预测精度，解决了小样本的数据集的分类预测精度低的难题；能够获得更好的分类预测结果。

SVM classification prediction method with intelligent parameter optimization module

【技术实现步骤摘要】
一种具有智能参数优化模块的SVM分类预测方法
本专利技术属于模型参数优化与机器学习分类预测
，特别是提供了一种具有智能参数优化模块的SVM(SupportVectorMachine，简称为SVM)分类预测方法，适用于解决只能获取到少量样本且每个样本具有较少特征的研究对象的分类预测问题，可应用于数据分析与预测、故障诊断等领域。
技术介绍
近年来，人工智能得到了空前的发展，各类智能方法如机器学习、深度学习、神经网络等被应用到了许多行业中，提升了企业效率，方便了人们的生活。然而，随着数据量的增多和用户对数据分类精度的要求不断提高，现存分类方法精度已无法满足上述要求，因为多数机器学习算法均有多种参数配置问题，迫切需要参数优化方法或模块的研究与开发。现如今，人工智能中应用广泛的智能方法主要有机器学习、深度学习、神经网络等，他们主要通过数据训练模型，得到模型后，对测试数据进行操作。而这些智能方法对模型的训练通常分为监督学习和无监督学习，监督学习是指输入数据有标签，无监督学习则是指输入数据没有标签。SVM属于监督学习方法，它是一种通过寻找样本最优超平面而对样本进行分类的模型，而寻找最优超平面，即求样本到超平面最小距离的最大值，并将此过程转换为求解目标函数的最小值。换句话说SVM把复杂的分类过程转换成了二次优化问题，从而克服了局部极小这一缺陷，所得的极值解，即为全局最优解。除此之外，在确定分类超平面时只需要考虑与分类最相关的少数支持向量点即可。因此，在样本数不是很多的情况下，SVM依然能够做到很好的分类任务。然而，SVM的有些参数需要由设计者调整或优化，否则无法保证其分类精度。网格法是一种基于交叉验证法的参数优化算法，虽然可以降低数据单次分割带来的性能上的偏差和不稳定，但是，当所分析数据集的样本量较多且每个样本的特征变量较多时，分类时间较长且准确度较低。遗传方法是一种基于达尔文生物进化论的自然选择和遗传学中群体遗传机理来搜索最优解的搜索算法，其核心思想是能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应地控制搜索过程以求得最佳解，从而实现高效、并行与全局搜索。当利用遗传方法解决问题时，问题的每一个可能解被编码，成为染色体，而若干个染色体构成了群体，也就是说群体是所有可能解的集合。遗传方法的核心原理就是依据“适者生存”的思想，开始时,先随机的产生一些个体(即初始解),根据预定的目标函数对每一个个体进行评估,给出一个适应度值,基于此适应度值,选择一些个体进行交叉和变异组合成新的一代，同时淘汰掉不好的个体。新一代个体继承了上一代的优良性状，性能也优于上一代，也就是在逐步向最优解靠近。因此，本文提出了一种具有遗传参数优化功能模块的SVM特征分类方法，解决了小样本数据集的特征分类问题。
技术实现思路
本专利技术的目的在于提供一种具有遗传优化参数模块的SVM分类预测方法，解决了现存分类算法在处理小样本、少特征数据集的分类问题时所面临的准确度低的难题。本专利技术的技术方案是：①分析SVM使用的核函数的特点，选择合适的核函数及其参数；②分析遗传方法的特点与原理，并将其应用于SVM核函数参数的优化问题，提出了具有遗传优化参数功能模块的SVM特征分类方法；③选择两个特征数不同的两个数据样本集，并将此数据样本集中90％的样本作为训练集，10％的样本作为测试集；④采用上述两个样本集，对所提出的具有遗传优化参数功能模块的SVM进行学习、训练和验证；⑤分别采用手动配置参数法和网格法优化法，对SVM的参数进行优化，并对上述数据样本集进行训练和测试，并将所得结果与基于遗传模块的SVM特征分类方法进行比较，说明所提出方法的有效性。具体方案如下：步骤1、选择SVM使用的核函数及其参数。核函数的引入使得SVM不仅可以对线性可分数据样本进行分类还可以把低维线性不可分的样本映射到高维空间中，进而达到可分的目的。核函数通常有四种，分别是线性核函数、多项式核函数、高斯径向基核函数以及S型核函数。由于高斯径向基核函数产生的偏差较小，分类效果也更为平滑，因此本专利技术的核函数选用了高斯径向基核函数。步骤2、构建基于遗传方法的SVM参数优化模块，具体方案为：针对SVM的惩罚参数C和高斯核参数，分别建立表现型和基因型的映射关系，然后随机初始化一个种群，再根据适应度函数对每一个基因个体做一次适应度评估，通过选择函数进行选择，再让个体变异，产生子代，直至找到所需参数的最优解。步骤3、选择两个特征数不同的两个数据样本集，并将此数据样本集中90％的样本作为训练集，10％的样本作为测试集。步骤4、分别采用上述两个样本集，学习、训练和验证所提出的具有遗传优化参数模块的SVM特征分类模型。对于二分类问题，采用如下模型的评估方法，验证模型的准确性。准确率：召回率：F1值：其中，真正例(TP)：真实类别为正例，预测类别为正例，假正例(FP)：真实类别为负例，预测类别为正例，假负例(FN)：真实类别为正例，预测类别为负例，真负例(TN)：真实类别为负例，预测类别为负例。对于SVM解决多分类任务，可以在训练时依次把某个类别的样本归为一类,其他剩余的样本归为另一类，这样k个类别的样本就构造出了k个SVM。分类时将未知样本分类为具有最大分类函数值的那类。步骤5、结果对比。采用上述两种数据集，学习、训练和验证手动配置参数的SVM和网格法优化参数的SVM，得到预测结果，并将其与具有遗传优化参数模块的SVM所预测的结果进行比较，得到后者的分类准确率最高的结论。本专利技术的优点在于：解决了数据集难以大量提取且特征数目不是很多的线性不可分数据集的高精度分类预测问题，为此类数据的分析与预测提供了新思路和方法。①提供了一种基于遗传算法的SVM参数优化模块，能够智能优化SVM的参数，极大改善其分类预测准确度。②解决了小样本数据集的分类预测问题，提供了一种使用场景更明确、分类性能更好的分类预测方法。附图说明图1基于遗传算法的SVM参数优化模块的优化效果图。图2遗传参数优化模块与网格参数优化模块的准确率对比图。具体实施方式步骤1、将本专利技术分别应用于特征数为4的150条鸢尾花数据集和特征数为6的300条肝脏疾病数据集中，该类数据的特征之间独立同分布，符合本专利技术算法的大前提条件。步骤2、由于希望SVM的分类可以尽量平滑、清晰、误差小，因此核函数选择高斯径向基核函数。并且在特征数不同的两个数据集中，均对SVM的惩罚参数C和高斯核参数γ进行优化调整。步骤3、采用遗传方法,构建优化SVM的惩罚参数C和高斯核参数γ的参数优化模块，优化SVM的参数，提升SVM的分类预测精度。具体为：将特征数为4的数据集和特征数为6的数据集通过编码、选择、交叉、变异、解码一系列操作后，得到了在分类效果最好的情况下的惩罚参数C和高斯核参数γ，特征数为4时，C＝3.275，γ＝0.077，特征数为6时，C＝9.275，γ＝0.011，分类的准确率和消耗时间如表1、表本文档来自技高网...

【技术保护点】
1.一种具有智能参数优化模块的SVM分类预测方法，其特征在于，包括如下步骤：/n步骤1、选择SVM使用的核函数及其参数：核函数的引入使得SVM不仅能对线性可分数据样本进行分类还能把低维线性不可分的样本映射到高维空间中，进而达到可分的目的；核函数采用高斯径向基核函数；/n步骤2、构建基于遗传方法的SVM参数优化模块：针对SVM的惩罚参数C和高斯核参数，分别建立表现型和基因型的映射关系，然后随机初始化一个种群，再根据适应度函数对每一个基因个体做一次适应度评估，通过选择函数进行选择，再让个体变异，产生子代，直至找到所需参数的最优解；/n步骤3、采用两个特征数不同的两个数据样本集，并将此数据样本集中90％的样本作为训练集，10％的样本作为测试集；/n步骤4、分别采用上述两个样本集，学习、训练和验证所提出的具有遗传优化参数模块的SVM特征分类模型；对于二分类问题，采用如下模型的评估，验证模型的准确性；/n准确率：

【技术特征摘要】
1.一种具有智能参数优化模块的SVM分类预测方法，其特征在于，包括如下步骤：
步骤1、选择SVM使用的核函数及其参数：核函数的引入使得SVM不仅能对线性可分数据样本进行分类还能把低维线性不可分的样本映射到高维空间中，进而达到可分的目的；核函数采用高斯径向基核函数；
步骤2、构建基于遗传方法的SVM参数优化模块：针对SVM的惩罚参数C和高斯核参数，分别建立表现型和基因型的映射关系，然后随机初始化一个种群，再根据适应度函数对每一个基因个体做一次适应度评估，通过选择函数进行选择，再让个体变异，产生子代，直至找到所需参数的最优解；
步骤3、采用两个特征数不同的两个数据样本集，并将此数据样本集中90％的样本作为训练集，10％的样本作为测试集；
步骤4、分别采用上述两个样本集，学习、训练和验证所提出的具有遗传优化参数...

【专利技术属性】
技术研发人员：陈金香，尹一岚，赵峰，
申请(专利权)人：冶金自动化研究设计院，
类型：发明
国别省市：北京;11