一种基于分形理论的支持向量机核函数选择方法及其应用技术

本发明专利技术涉及一种基于分形理论的支持向量机核函数选择方法及其应用，这是一种有指导性的SVM核函数选择方法，能够针对具体问题有效地选择合适的核函数，克服了现有的SVM模型选择方法中人为指定核函数类型而导致模型不能达到最优性能的缺陷，并具有实施预测准确率高，运算速度快、非常适合实时在线SVM模型预测控制场所。

【技术实现步骤摘要】
一种基于分形理论的支持向量机核函数选择方法及其应用
本专利技术将分形理论应用于支持向量机核函数选择，是一种支持向量机核函数选择的新方法及应用。
技术介绍
核方法(KernelMethod，KM)是基于核的机器学习方法的总称，它在处理非线性分类问题时，通过变换将输入空间映射到高维空间(特征空间)，利用这种方法间接地实现复杂问题的分类，此变换以核函数形式隐式定义。核方法不必针对样本空间进行复杂处理，而是在特征空间中高效地计算内积，因此核函数的引入显著地提高其计算能力。支持向量机(SupportVectorMachine，SVM)作为最具代表性的核方法，而各类核函数所表现出的特征度量各异，即不同核函数由样本数据生成的核矩阵各具差异，甚至差异程度迥异。因此，核函数是支持向量机泛化能力的关键因素。如何针对给定的样本数据选择或者构造合适的核函数便成为SVM研究的热点之一。但核函数的选择一直是SVM研究中开放性的问题，没有具体的理论指导，存在着偶然性和局限性。研究一种既能充分利用给定具体问题的样本信息，又能结合不同核函数蕴藏的度量特征且具有通用性的核函数选择方法，则对于SVM技术的发展以及核方法的完善有着积极意义。对于给定的具体问题(样本数据集)而言，可用统计学习理论的一个核心概念—VC维来描述拟建模型函数集容量的表达能力，即用VC维来度量具体问题的复杂程度。然而，遗憾的是VC维是一个抽象的概念，迄今为止尚无明确的统一计算方法。而分形理论是利用整体与局部相似的特点，将一个复杂现象看成是由简单现象迭代而成，能够较好地反映系统的动力特性，即混沌时间序列中复杂现象所蕴含的规律和特性。
技术实现思路
本专利技术的目的是提供一种基于分形理论的支持向量机核函数选择方法及其应用，它能够更好地挖掘出不规则样本数据集的潜在信息，并且结合核函数的几何度量和几何性质，有指导性地选择SVM核函数，避免了核函数选择的局限性和偶然性，以提高支持向量机的泛化能力。本专利技术的技术方案：一种基于分形理论的支持向量机核函数选择方法，包括如下步骤：步骤1，数据预处理：给定具有l个样本数据集其中xi∈Rn为n维输入数据，yi∈R为一维输出数据，l为样本数，对T进行变换使数据的范数小于1；步骤2，核矩阵G构造：用G表示对应于核函数k的核矩阵，即Gij＝<φ(xi),φ(xj)>＝k(xi,xj)其中k(xi,xj)＝k(xj,xi)，φ为特征映射；步骤3，分形维数计算：利用关联维数测算样本数据与核矩阵G的特征信息，并找出它们之间的关联性，关联维数具体的计算方法如下：假设在空间中某一点集是由N个点组成，则任选n维相空间中点集{xi}(i＝1,2,…,N)的一点xi作参考点，计算另外N-1个点到它的距离，则可以统计出落于以点xi为中心，以小标量δ为半径的体积元中的点的个数。凡空间距离小于δ的点对称为有关联的点对，它在一切可能的N2配对中所占比例称为关联函数，即其中θ(r)是Heaviside函数，定义为关联维数C(δ)对应的关联维数D为：并由此，可计算出给定的样本数据以及核矩阵G的分形维数；步骤5，核函数类型选择：根据计算出的样本数据的分形维数，以及给定的阈值选择相应的SVM核函数类型，并确定支持向量机模型；步骤6，优化支持向量机模型参数并输出预测结果。本专利技术利用分形理论测算给定工程对象的分形维数，结合核函数蕴藏的度量特征，提出了一种基于分形理论的SVM核函数选择机制。这是一种有指导性的SVM核函数选择方法，能够针对具体问题有效地选择合适的核函数，克服了现有的SVM模型选择方法中人为指定核函数类型而导致模型不能达到最优性能的缺陷，并具有实施预测准确率高，运算速度快、非常适合实时在线SVM模型预测控制场所。具体实施方式本专利技术利用分形理论描述输入空间样本数据的先验信息，以及结合核特征空间隐含的度量特征，创造性指导SVM核函数的选择。实验说明：①本专利技术的应用所涉及的二组实施例数据集均来自于UCI数据库，分别是Tic-Tac-ToeEndgameDataSet(井字棋游戏数据集)和LiverDisordersDataSet(肝脏疾病数据集)；②本专利技术以典型的全局分布特征的多项式核函数和局部分布特征的径向基核函数(RBF)为例进行数值仿真实验；③通过实验分析，确定核函数矩阵分形维数的阈值为D*＝2，即D≤D*,则选择多项式核函数；若D>D*，则选择径向基核函数；④随机选取样本数据集的80％和20％分别作为SVM模型的训练集和测试集。实施例一：Tic-Tac-ToeEndgameDataSet(井字棋游戏数据集)A步骤：本组数据集来自UCI数据库，共有958组数据；对其进行预处理，使样本数据的范数小于1并中心化；然后选取左上角、中上方、右上角、中左方、正中间、中右方、左下方、中下方和右下角9个为输入变量，播放器为输出变量；B步骤：将预处理后的数据集，利用不同核函数以内积的形式生成该数据集的核矩阵G；C步骤：对预处理后的样本数据，利用关联维数的计算方法计算出分形维数D为1.7527；D步骤：根据计算得出的样本数据的分形维数，以及给定的阈值D*＝2，此时D≤D*＝2，则选择具有全局分布特征的多项式核函数，并依此确定支持向量机模型；E步骤：随机选取767组样本数据作为训练样本，191组样本数据作为测试样本；优化由多项式核函数构建的SVM模型参数后，最后随机实验三次并取平均值，其实施预测准确率为94.45％，而采用具有局部分布特征的径向基核函数(RBF)构建的SVM模型，其实施预测准确率仅为85.25％，两者相差9.20％。实施例二：LiverDisordersDataSet(肝脏疾病数据集)A步骤：本组数据集来自UCI数据库，共有345组数据；对其进行预处理，使样本数据的范数小于1并中心化；然后选取平均红细胞体积、碱性磷酸酶、丙氨酸转氨酶、天冬氨酸转氨酶、γ-谷氨酰转肽酶以及每天喝相当于半品脱酒精饮料的数量6个为输入变量，疾病状态为输出变量；B步骤：将预处理后的数据集，利用不同核函数以内积的形式生成该数据集的核矩阵G；C步骤：对预处理后的样本数据，利用关联维数的计算方法计算得出分形维数D为2.7536；D步骤：根据计算得出的样本数据的分形维数，以及给定的阈值D*＝2，此时D>D*＝2，则选择具有局部分布特征的径向基核函数(RBF)，并依此确定支持向量机模型；E步骤：随机选取276组样本数据作为训练样本，69组样本数据作为测试样本；优化由径向基核函数(RBF)构建的SVM模型参数后，最后随机实验三次并取平均值，其实施预测准确率为100％，而采用具有全局分布特征的多项式核函数构建的SVM模型，其实施预测准确率仅为73.91％，两者相差高达26.09％之多。通过以上二个实施例样本数据的测试可以看出，利用分形理论所筛选出的核函数建立的支持向量机模型要优于其他核函数构建的支持向量机模型。因此，本专利技术将分形理论运用于支持向量机核函数选择，是一种有指导性的实用方法，弥补了传统的支持向量机模型选择方法中人为指定核函数类型导致模型不能达到最优性能的不足，并具有运算速度快、非常适合实时在线SVM模型预测控制场所。本文档来自技高网...

【技术保护点】
1.一种基于分形理论的支持向量机核函数选择方法，其特征是，包括如下步骤：步骤1，数据预处理：给定具有l个样本数据集

【技术特征摘要】
1.一种基于分形理论的支持向量机核函数选择方法，其特征是，包括如下步骤：步骤1，数据预处理：给定具有l个样本数据集其中xi∈Rn为n维输入数据，yi∈R为一维输出数据，l为样本数，对T进行变换使数据的范数小于1；步骤2，核矩阵G构造：用G表示对应于核函数k的核矩阵，即Gij＝<φ(xi),φ(xj)>＝k(xi,xj)其中k(xi,xj)＝k(xj,xi)，φ为特征映射；步骤3，分形维数计算：利用关联维数测算样本数据与核矩阵G的特征信息，并找出它们之间的关联性，关联维数具体的计算方法如下：假设在空间中某一点集是由N个点组成，则任选n维相空间中点集{xi}(i＝1,2,…,N)的一点xi作参考点，计算另外N-1个点到它的距离，则可以统计出落于以点xi为中心，以小标量δ为半径的体积元中的点的个数，凡空间距离小于δ的点对称为有关联的点对，它在一切可能的N2配对中所占比例称为关联函数，即其中θ(r)是Heaviside函数，定义为关联维数C(δ)对应的关联维数D为：并由此，可计算出给定的样本数据以及核矩阵G的分形维数；步骤5，核函数类型选择：根据计算出的样本数据的分形维数，以及给定的阈值选择相应的SVM核函数类型，并确定支持向量机模型；步骤6，优化支持向量机模型参数并输出预测结果。2.根据权利要求1所述的方法，其特征是：应用于井字棋游戏数据集中，包括如下步骤：A步骤：本组数据集来自UCI数据库，共有958组数据；对其进行预处理，使样本数据的范数小于1并中心化；然后选取左上角、中上方、右上角、中左方、正中间、中右方、左下方、中下方和右下角9个为输入变量，播放器为输出变量；B步骤：将预处理后的数据集，利用不同核函数以内积的形式生成该数据集...

【专利技术属性】
技术研发人员：梁礼明，陈明理，吴健，杨国亮，翁发禄，
申请(专利权)人：江西理工大学，
类型：发明
国别省市：江西,36