一种基于切线单折线法的信赖域求解逻辑回归分析的方法技术

本发明专利技术的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，包括步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标；步骤S3：构造信赖域模型子问题；步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解。与现有技术相比，本发明专利技术提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，相对于常用的经典的梯度下降法，具有更快速的局部收敛性、更理想的总体收敛性，且由于利用了二次模型来求修正量，使得目标函数的下降比线性搜索方法更有效。其次，结合了比传统解决信赖域子问题的Dogleg方法的改进算法：切线单折线法，进一步提升了运算效率。

A method of solving logical regression analysis based on tangent single broken line method in trust region

A method of solving logical regression analysis based on the trust region of tangent single fold line method, including step S1: using the fitting function of linear regression and the Logistic function to construct the prediction fitting function; step S2: after deriving the cost function by the maximum likelihood estimation, the objective of the logical regression analysis is obtained; step S3: Constructing the trust region model sub problem; step S4: using the tangent single broken line method to solve the trust region model subproblem, get the optimal numerical solution. Compared with the existing technology, the invention provides a reliable regression analysis method based on the tangent single fold line method. Compared with the commonly used classical gradient descent method, the method has more rapid local convergence and better overall convergence, and the objective function is made by using the two model to find the correction quantity. The reduction is more effective than the linear search method. Secondly, an improved Dogleg algorithm, which is better than the traditional trust region subproblem, is proposed: tangent single broken line method, which further improves the computation efficiency.

【技术实现步骤摘要】
一种基于切线单折线法的信赖域求解逻辑回归分析的方法
本专利技术涉及回归分析领域，具体涉及一种基于切线单折线法的信赖域求解逻辑回归分析的方法。
技术介绍
逻辑回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。逻辑回归主要在流行病学中应用较多，比较常用的情形是探索某疾病的危险因素，根据危险因素预测某疾病发生的概率等。逻辑回归分析的通常做法是先构造出一个代价函数，然后对其求解，找到最优解。如果这个函数存在解析解，那么求导就可以得出结果了，然而事实上大多数情况是该函数很难求导或者得不到解析解，此时就需要用到最优化方法了。以往人们都会偏向选择梯度下降法，这是一种古老简单的方法，但是缺点是收敛慢、效率不高、有时候达不到最优解。鉴于上述缺陷，本专利技术创作者经过长时间的研究和实践终于获得了本专利技术。
技术实现思路
为解决上述技术缺陷，本专利技术采用的技术方案在于，提供了一种基于切线单折线法的信赖域求解逻辑回归分析的方法，该方法包括以下步骤：步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；表示n维的模型参数，即回归系数，Logistic函数为：由公式(1)和(2)得到的预测拟合函数为：步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标；其中，代价函数为：逻辑回归分析的求解目标为：步骤S3：构造信赖域模型子问题；在θk的Δk邻域内，由泰勒展开得到近似函数从而得出解信赖域模型子问题；其中δ＝θ-θk，Jk＝J(θk)，gk＝▽J(θk)，Gk是Hessian矩阵▽2J(θk)或其近似，Δk＞0为信赖域半径；步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解；记其最优解为dk，ΔJk:＝Jk-J(θk+dk)为J在第k步中的实际下降量，对应的预测下降量为Δqk:＝qk(0)-qk(dk)；定义比值为其中，Δqk＞0，若rk＜0，表明qk(δ)与目标函数J(θ)的一致性程度不好，需要缩小信赖域半径重新信赖域模型子问题(4)；rk越接近1，表明qk(δ)与J(θ)的一致性程度越好，此时θk+1:＝θk+dk作为新的迭代点，同时增大Δk进行下一次迭代；对于其他情况，Δk可以保持不变；直到迭代点θk满足终止准则，那么θ＝θk即为逻辑回归分析的求解目标的最优数值解。较佳的，逻辑回归分析的求解目标的推导过程为：现已得到预测拟合函数它表示结果取1的概率，因此有综合起来就是P(y|x；θ)＝(hθ(x))y(1-hθ(x))1-y取似然函数为对其求对数，得最大似然估计就是求使得l(θ)取最大值时的θ，取则变为J(θ)取最小值时的θ，即与现有技术相比，本专利技术提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，相对于常用的经典的梯度下降法，具有更快速的局部收敛性、更理想的总体收敛性，且由于利用了二次模型来求修正量，使得目标函数的下降比线性搜索方法更有效。其次，结合了比传统解决信赖域子问题的Dogleg方法的改进算法：切线单折线法，进一步提升了运算效率。附图说明为了更清楚地说明本专利技术各实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。图1为本专利技术提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法的流程图；图2为信赖域方法的流程图；图3为切线单折线法流程示意图。具体实施方式以下结合附图，对本专利技术上述的和另外的技术特征和优点作更详细的说明。如图1所示，为本专利技术提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法的流程图，该方法包括以下步骤：步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数。Logistic函数为：由公式(1)和(2)得到的预测拟合函数为：步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标。其中，代价函数为：逻辑回归分析的求解目标为：推导过程为：现已得到预测拟合函数它表示结果取1的概率，因此有综合起来就是P(y|x；θ)＝(hθ(x))y(1-hθ(x))1-y取似然函数为对其求对数，得最大似然估计就是求使得l(θ)取最大值时的θ，取则变为J(θ)取最小值时的θ。即步骤S3：构造信赖域模型子问题。具体的，在θk的Δk邻域内，由泰勒展开得到近似函数从而得出解信赖域模型子问题。其中δ＝θ-θk，Jk＝J(θk)，gk＝▽J(θk)，Gk是Hessian矩阵▽2J(θk)或其近似，Δk＞0为信赖域半径。步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解。具体的，记其最优解为dk，ΔJk:＝Jk-J(θk+dk)为J在第k步中的实际下降量，对应的预测下降量为Δqk:＝qk(0)-qk(dk)。定义比值为一般地，Δqk＞0。因此：1.若rk＜0，表明qk(δ)与目标函数J(θ)的一致性程度不好，需要缩小信赖域半径重新信赖域模型子问题(4)。2.rk越接近1，表明qk(δ)与J(θ)的一致性程度越好，此时θk+1:＝θk+dk作为新的迭代点，同时增大Δk进行下一次迭代。3.对于其他情况，Δk可以保持不变。直到迭代点θk满足终止准则，那么θ＝θk即为逻辑回归分析的求解目标的最优数值解。如图2所示为信赖域方法的流程图，信赖域方法包括以下步骤：Step0.选取初始参数0≤η1＜η2＜1，0＜τ1＜1＜τ2，0≤ε＜＜1，θ0∈Rn，取定信赖域半径的上限为初始信赖域半径令k:＝0Step1.计算gk＝▽J(θk)。若||gk||≤ε，停止迭代Step2.求解信赖域模型子问题(4)的解dkStep3.计算Step4.校正信赖域半径Step5.若rk＞η1，则令θk+1:＝θk+dk，更新Gk+1(可以直接计算，也可以用BFGS等公式估算)。令k:＝k+1，转Step1；否则θk+1:＝θk+dk，令k:＝k+1,转Step2。如图3所示为切线单折线法流程示意图，切线单折线法包括以下步骤：将信赖域模型子问题(4)的符号简化，得到Step0.给定梯度g，Hessian矩阵G，信赖域半径ΔStep1.计算牛顿步δnp＝-G-1gStep2.计算投影矩阵P＝A(ATA)-1AT，其中A＝[-g,δnp]Step3.确定βz。y＝-δnp，s＝PB-1y，确定s和g的第k个分量，使得g(1)s(k)-g(k)s(1)≠0，则Step4.形成切线单折线Γ＝[0,δzp,δnp]Step5.确定问题的解δ＝dk其中η使得||dk||＝Δ本专利技术提供的一种基于切线单折线法的信赖域求解逻辑回归分析的方法，相对于常用的经典的梯度下降法，具有更快速的局部收敛性、更理想的总体收敛性，且由于利用了二次模型来求修正量，使得目标函数的下降比线性搜索方法更有效。其次，结合了比传统解决信赖域子问题的Dogleg方法的改进算法：切线单折线法，进一步提升了运算效率。于是整个逻辑回归分析过程的就得到了有效的改进。以上所述仅为本专利技术的较佳实施例，对本专利技术而言仅仅是说明性的，而非限制性的。本专业技术人员理解，在本专利技术权利要求所限定的精神和范围内可对其进行许多改变，修改，甚至等效，但都将落入本专利技术的保护范围内。本文档来自技高网...

【技术保护点】
1.一种基于切线单折线法的信赖域求解逻辑回归分析的方法，其特征在于，该方法包括以下步骤：步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；

【技术特征摘要】
1.一种基于切线单折线法的信赖域求解逻辑回归分析的方法，其特征在于，该方法包括以下步骤：步骤S1：利用线性回归的拟合函数和Logistic函数构造预测拟合函数；Logistic函数为：由公式(1)和(2)得到的预测拟合函数为：步骤S2：由最大似然估计推导得到代价函数后，得到逻辑回归分析的求解目标；其中，代价函数为：逻辑回归分析的求解目标为：步骤S3：构造信赖域模型子问题；在θk的Δk邻域内，由泰勒展开得到近似函数从而得出解信赖域模型子问题；其中δ＝θ-θk，Jk＝J(θk)，Gk是Hessian矩阵或其近似，Δk＞0为信赖域半径；步骤S4：使用切线单折线法求解信赖域模型子问题，得到最优数值解；记其最优解为dk，ΔJk:＝Jk-J(θk+dk)为J在第k步中的实际下降量，对应的预测下降量为Δqk:＝qk(0)-qk(d...

【专利技术属性】
技术研发人员：陈乐焱，许飞月，陶波，
申请(专利权)人：广东精点数据科技股份有限公司，
类型：发明
国别省市：广东,44