一种基于支持向量机的核矩阵近似方法技术

本发明专利技术公开了一种基于支持向量机的核矩阵近似方法，该方法包括以下步骤：将作为样本的核矩阵借助支持向量机的凸二次约束规划表示，即给出支持向量机的二阶锥规划表示；综合Monte?Carlo随机算法和不完全Cholesky分解算法进行核矩阵的近似算法KMA-α；通过上述近似计算KMA-α将大规模核矩阵处理成低秩小规模的近似核矩阵；将近似核矩阵25作为支持向量机的不确定核矩阵SVM的输入。与现有技术相比，本发明专利技术可折衷计算效率和计算精度，在保证计算精度的情况下，有效提高SVM二阶锥规划求解的效率.理论分析与实验验证表明KMA-α是一正确、有效的核矩阵近似算法。

【技术实现步骤摘要】

本专利技术涉及基于核方法的支持向量机的参数调节方法，特别是将原核矩阵进行近似之后再代入到学习器中进行求解。
技术介绍
支持向量机(support vector machine, SVM)是借助于最优化方法解决机器学习问题的新工具。它由Vapnik及其合作者专利技术，在1992年计算机学习理论的会议上介绍进入机器学习领域，之后受到了广泛的关注。近年来在其理论研究和算法实现方面都取得了突破性进展，并成为克服“维数灾难”和“过学习”等传统困难的有力手段。SVM的理论体系涵盖的对象极为广泛，如对偶表示、特征空间、学习理论、优化理论和算法等。SVM在文本分类、手写识别、图像分类、生物信息学等领域中获得了比较好的应用。1)支持向量机令X表示输入空间，Y表示输出域，通常有X￡i "，二分类问题中Y= {_1，1}，则训练集可表示为S=(O^1),...，( >0)￡(χχγ)'，其中，Xi, Yi为样例输入及对应的标签，1为训练集规模.IImin ^ yiyjaiajK{xi,Xj)- 2^CCi,Uj=O^ α i = 1, . . . , 1.(1)其中，α ” α」为Lagrange乘子，K(χ” Xj)为核函数式的向量表述形式为 mina a 1Q a -2eTa , s. t. yTa = 0,0 彡 a . (2)其中，a e i1为Lagrange乘子向量，y e i1为标签向量，e为1维全1向量， ij = YiYjK Ui, Xj) 优化问题公式⑵可等价地转化为下面的凸二次约束线性规划 (convexquadratically constrained linear programming, QCLP) fn]^ .权利要求1.，该方法包括以下步骤步骤一，将作为样本的核矩阵借助支持向量机的凸二次约束规划表示，即给出支持向量机的二阶锥规划表示；步骤二，综合Monte Carlo随机算法和不完全Cholesky分解算法进行核矩阵的近似算法KMA- α，该近似算法KMA- α进一步包括以下步骤利用Monte Carlo随机算法进行随机采样部分通过右乘、左乘采样矩阵S及其转置使得矩阵的规模由原来的nXn变为cXc.然后，通过左乘、右乘比例矩阵D，实现对矩阵元素的缩放，保证近似的无偏性；^Kl1为采样分布函数，i ^n)表示第i列被采样到概η率，满足Σα=1采样分布的定义对于最终的采样结果有重要的影响，常见的定义方式有Pi/=1=Ι/η,Ρ,=^ /客这和卩,=|0(,) I2 /11 QW2p C为采样规模.。通过该值可直接调节近似矩阵的秩。S为采样矩阵，D为采样后对矩阵；基于不完全Cholesky分解方法，将矩阵的特征值分为相对较大和相对较小两组，通过合理地选择分界的阈值et()1，ε t()1为未被选取的矩阵主对角线元素之和的下界￡t()1按经验取10,左右的值，根据数据可作调整以设置近似的程度，求解样本矩阵的一个接近最优 near-optimal的低秩近似形式。步骤三，通过上述近似计算KMA-α将大规模核矩阵处理成低秩小规模的近似核矩阵； 步骤四，将近似核矩阵作为支持向量机的不确定核矩阵SVM的输入。2.如权利要求1所述的基于支持向量机的核矩阵近似方法，其特征在于，所述未被选取的矩阵主对角线元素之和的下界ε ，按经验取近似10,的值，或者根据数据作调整以设置近似的程度。全文摘要本专利技术公开了，该方法包括以下步骤将作为样本的核矩阵借助支持向量机的凸二次约束规划表示，即给出支持向量机的二阶锥规划表示；综合Monte Carlo随机算法和不完全Cholesky分解算法进行核矩阵的近似算法KMA-α；通过上述近似计算KMA-α将大规模核矩阵处理成低秩小规模的近似核矩阵；将近似核矩阵25作为支持向量机的不确定核矩阵SVM的输入。与现有技术相比，本专利技术可折衷计算效率和计算精度，在保证计算精度的情况下，有效提高SVM二阶锥规划求解的效率.理论分析与实验验证表明KMA-α是一正确、有效的核矩阵近似算法。文档编号G06F17/17GK102426562SQ201110151858公开日2012年4月25日 申请日期2011年8月15日 优先权日2011年8月15日专利技术者丁立中, 廖士中, 杨晨豪 申请人:天津大学本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：廖士中，杨晨豪，丁立中，
申请(专利权)人：天津大学，
类型：发明
国别省市：