一种基于凹凸规划的快速近似方法技术

本发明专利技术提供了一种基于凹凸规划的快速近似方法，应用在采用非正定核的逻辑回归模型中，所述方法包括：将非正定核的逻辑回归模型拆解成两个凸函数之差的形式，对其中一个凸函数进行一阶泰勒展开，得到一个凸优化问题，并对所述凸优化问题进行迭代求解直到得到相应的求解结果，在所述求解结果的基础上继续对所述凸函数进行一阶泰勒展开，交替迭代以上流程，直至收敛。从而可以实现凹凸规划的快速求解过程，对大数据规模下的高维数据具有很好的分类效果以及收敛速度，方法实现简单，易于操作。

A fast approximation method based on concavo convex programming

The present invention provides a fast approximation method based on concave-convex programming, which is applied to a logistic regression model with non-positive deterministic kernels. The method includes: decomposing the non-positive deterministic logistic regression model into the form of difference between two convex functions, expanding one convex function by Taylor expansion, and obtaining a convex optimization problem. The convex optimization problem is solved iteratively until the corresponding solution results are obtained. On the basis of the solution results, the convex function is expanded by Taylor expansion of the first order, and the above process is iterated alternately until convergence. Thus, the rapid solution process of concave-convex programming can be realized. It has good classification effect and convergence speed for large-scale high-dimensional data. The method is simple to implement and easy to operate.

【技术实现步骤摘要】
一种基于凹凸规划的快速近似方法
本专利技术涉及非凸优化、数据处理
，具体地，涉及一种基于凹凸规划的快速近似方法。
技术介绍
核方法在机器学习、计算机视觉、生物信息学等诸多领域被广泛的应用。核方法要求核矩阵必须半正定，进而保证相应的模型是凸优化问题且备选函数处于再生希尔伯特空间。但是，在图像处理、流形学习、稳健学习等领域，人们越来越多地遇见不满足半正定性条件的核函数，例如：采用KL散度所定义的相似性度量就不满足正定性的限制；由于测量的不准确性，使得获取的核矩阵受到噪声的污染，变成非正定核矩阵。由于核函数的非正定性，传统的再生希尔伯特空间理论不在成立，问题的求解也从一个凸优化问题变成一个非凸优化问题。如何在理论和实际算法上对非正定核进行研究，这也正是核方法所研究的内容。在现有的非凸优化方法中，凹凸规划是一种非常常见的方法，它的思路在于将待求解的目标函数拆分成两个凸函数之差的形式，通过对其中一个凸函数在当前点进行泰勒展开，从而得到一个关于原问题的凸近似，求得关于该凸近似问题的最优解；随后在该最优解处进行泰勒展开，直至整体目标函数收敛。但是，传统的凹凸规划需要进行两重交替迭代，外层循环在当前点获得原问题的凸近似，内层循环精确求解一个凸优化问题。随着外层循环迭代次数的增加，算法的计算复杂度呈线性增长。对于数据规模较大的情况，该方法的计算效率较低，具有较大的局限性。现有技术中，出现的上述凹凸规划技术用以求解非凸优化问题，比如：[1]FrancoisBertrandAkoa,“CombiningDCalgorithms(DCAs)anddecompositiontechniquesforthetrainingofnonpositive-semidefinitekernels,”IEEETransactionsonNeuralNetworks,vol.19,no.11,pp.1854–1872,2008.[2]HaimingXu,HuiXue,XiaohongChen,andYunyunWang,“Solvingindefinitekernelsupportvectormachinewithdifferenceofconvexfunctionsprogramming,”inProceedingsofAAAIConferenceonArtificialIntelligence,2017,pp.1610–1616.然而上述技术均采用传统的凹凸规划方法进行求解，计算效率较低。因此，随着现在各个领域实验数据的不断增多，在数据容量、维数越来越大的情况下，亟待有一种方法在保证计算效果不出现明显降低的前提下，能够快速求解凹凸规划问题。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于凹凸规划的快速近似求解方法，可以有效的加速求解过程，方法实现简单，易于操作，非常适合大数据规模下的高维数据处理应用。本专利技术提供一种基于凹凸规划的快速近似方法，包括：将非正定核的逻辑回归模型拆解成两个凸函数之差的形式；对其中任一个凸函数进行一阶泰勒展开，得到第一凸优化问题，并对所述第一凸优化问题进行迭代求解，直到得到相应的第一求解结果；在所述求解结果的基础上对所述凸函数再次进行一阶泰勒展开，得到第二凸优化问题，并对所述第二凸优化问题进行迭代求解，直到得到的第二求解结果收敛。可选地，在所述将非正定核的逻辑回归模型拆解成两个凸函数之差的形式之前，还包括：构建非正定核的逻辑回归模型。可选地，所述构建非正定核的逻辑回归模型，包括：通过给定的样本空间和输出空间基于训练样本集合得到判别函数f；其中，所述判别函数f位于再生Krein空间中；其中，xi为第i个训练样本，yi为第i个训练样本的标签，N为训练样本数量；基于所述判别函数f构建如下的初始模型：式中：λ为正则项系数，f为判别函数，为再生Krein空间，为f在再生Krein空间的正则项，f(xi)为判别函数f对训练样本xi的预测，stab表示稳定，即求解该目标函数的稳定性问题；基于再生Krein空间表示定理，将所述初始模型进行转化，得到非正定核的逻辑回归模型如下：式中：K为核矩阵，Y为标签矩阵，β为求解系数，βT为求解系数β的转置，1为全1的列向量，维数为N，1T为全1的行向量，维数为N。可选地，所述将非正定核的逻辑回归模型拆解成两个凸函数之差的形式，包括：对所述非正定核的逻辑回归模型进行转化后得到如下形式：式中：为求解f(β)的稳定性问题，f(β)为关于β的目标函数，K+为对核矩阵K进行特征值分解，由K中特征值大于0的部分组成，K-为对核矩阵K进行特征值分解，由K中特征值大于0的部分组成；通过再生Krein空间的正定分解性质，在给定的集合下，将所述非正定核的逻辑回归模型进行拆解，得到如下两个凸函数之差的形式：f(β)＝g(β)-h(β)其中：可选地，所述对其中任一个凸函数进行一阶泰勒展开，得到第一凸优化问题，包括：将h(β)在当前点βk进行泰勒展开，得到其中：βk为第k次求解迭代的结果，为在βk处对βk泰勒展开后的函数值；对f(β)做近似处理后，得到近似函数所述如下：即：式中：h(βk)为在βk处的函数值，为梯度符号，为对函数h求取梯度后在βk处的函数值；可选地，对所述第一凸优化问题进行迭代求解，直到得到相应的第一求解结果，包括：获取近似函数的梯度，梯度算法如下：其中：q＝[q1,q2,…,qN]T定义为：式中：βj为求解系数β的第j个分量，Kij为核矩阵的第i,j个元素，给定初值根据上式计算出梯度信息随后采用如下迭代方式：式中：为求解βk的内层循环中第(t+1)次迭代结果，为求解βk的内层循环中第t次迭代结果，ηt为第t次迭代的步长；设置内层循环收敛准则，直到得到第一求解结果，记为其中，所述内层循环收敛准则为：其中：ε为绝对终止残差，为外层第k次迭代函数在求解βk的内层循环中第(t+1)次迭代结果的函数值，为外层第k次迭代函数在求解βk的内层循环中第t次迭代结果的函数值。可选地，在所述求解结果的基础上对所述凸函数再次进行一阶泰勒展开，得到第二凸优化问题，包括：在所述第一结果处，对h(β)进行泰勒展开，得到第二凸优化问题。可选地，对所述第二凸优化问题进行迭代求解，直到得到的第二求解结果收敛，包括：设置最大迭代次数；每对所述第二凸优化问题进行迭代，则迭代次数自增1，将达到所述最大迭代次数时的值作为所述第二求解结果。与现有技术相比，本专利技术具有如下的有益效果：本专利技术提供的基于凹凸规划的快速近似求解方法，通过将非正定核的逻辑回归模型拆解成两个凸函数之差的形式，对其中一个凸函数进行一阶泰勒展开，得到一个凸优化问题，并对所述凸优化问题进行迭代求解直到得到相应的求解结果，在所述求解结果的基础上继续对所述凸函数进行一阶泰勒展开，交替迭代以上流程，直至收敛。从而可以实现凹凸规划的快速求解过程，对大数据规模下的高维数据具有很好的分类效果以及收敛速度，方法实现简单，易于操作。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术方法的流程图。图2为本专利技术在monks1数据集中与其他方法收敛趋势比较示意图。具体实施方式下面结合具体实施例对本专利技术进行详本文档来自技高网...

【技术保护点】
1.一种基于凹凸规划的快速近似方法，其特征在于，包括：将非正定核的逻辑回归模型拆解成两个凸函数之差的形式；对其中任一个凸函数进行一阶泰勒展开，得到第一凸优化问题，并对所述第一凸优化问题进行迭代求解，直到得到相应的第一求解结果；在所述求解结果的基础上对所述凸函数再次进行一阶泰勒展开，得到第二凸优化问题，并对所述第二凸优化问题进行迭代求解，直到得到的第二求解结果收敛。

【技术特征摘要】
1.一种基于凹凸规划的快速近似方法，其特征在于，包括：将非正定核的逻辑回归模型拆解成两个凸函数之差的形式；对其中任一个凸函数进行一阶泰勒展开，得到第一凸优化问题，并对所述第一凸优化问题进行迭代求解，直到得到相应的第一求解结果；在所述求解结果的基础上对所述凸函数再次进行一阶泰勒展开，得到第二凸优化问题，并对所述第二凸优化问题进行迭代求解，直到得到的第二求解结果收敛。2.根据权利要求1所述的基于凹凸规划的快速近似方法，其特征在于，在所述将非正定核的逻辑回归模型拆解成两个凸函数之差的形式之前，还包括：构建非正定核的逻辑回归模型。3.根据权利要求2所述的基于凹凸规划的快速近似方法，其特征在于，所述构建非正定核的逻辑回归模型，包括：通过给定的样本空间和输出空间基于训练样本集合得到判别函数f；其中，所述判别函数f位于再生Krein空间中；其中，xi为第i个训练样本，yi为第i个训练样本的标签，N为训练样本数量；基于所述判别函数f构建如下的初始模型：式中：λ为正则项系数，f为判别函数，为再生Krein空间，为f在再生Krein空间的正则项，f(xi)为判别函数f对训练样本xi的预测，stab表示稳定，即求解该目标函数的稳定性问题；基于再生Krein空间表示定理，将所述初始模型进行转化，得到非正定核的逻辑回归模型如下：式中：K为核矩阵，Y为标签矩阵，β为求解系数，βT为求解系数β的转置，1为全1的列向量，维数为N，1T为全1的行向量，维数为N。4.根据权利要求3所述的基于凹凸规划的快速近似方法，其特征在于，所述将非正定核的逻辑回归模型拆解成两个凸函数之差的形式，包括：对所述非正定核的逻辑回归模型进行转化后得到如下形式：式中：为求解f(β)的稳定性问题，f(β)为关于β的目标函数，K+为对核矩阵K进行特征值分解，由K中特征值大于0的部分组成，K_为对核矩阵K进行特征值分解，由K中特征值大于0的部分组成；通过再生Krein空间的正定分...

【专利技术属性】
技术研发人员：杨杰，刘方辉，黄晓霖，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31