一种机器学习的最优化问题处理方法和装置制造方法及图纸

本发明专利技术公开了一种机器学习的最优化问题处理方法和装置，方法包括：根据待解决问题确定目标函数和约束条件，并响应于目标函数为不可微分的凸函数而继续下一步骤；基于迭代次数和约束条件使用投影次梯度法更新当前解，并使用当前解带入目标函数以获得当前函数值；响应于当前函数值不符合收敛条件并且迭代次数未超过预定上限，而累加迭代次数并重新执行上一步骤；响应于当前函数值符合收敛条件或迭代次数超过预定上限，而将当前函数值中的最优值所对应的解确定为待解决问题的最优解。本发明专利技术能够处理机器学习的不可微函数的最优解问题，并且具有很高的收敛速度。

【技术实现步骤摘要】
一种机器学习的最优化问题处理方法和装置
本专利技术涉及优化领域，更具体地，特别是指一种机器学习的最优化问题处理方法和装置。
技术介绍
在机器学习领域，优化理论最为重要。主要在于机器学习经常会把问题抽象为一个优化问题，比如最大化回报奖赏、最小化分类错误带来的损失或者最大化似然等等，而如何求解这些问题就必须有相应的优化算法。目前主流的算法为SGD，以及SGD的很多变种，包括Momentum、AdaGrad、RMSProp、Adam等。这些算法的共同点在于均需要计算目标函数的梯度值，但是在实际应用中，梯度并不一定存在，在训练过程中很容易出现梯度消失。因此，如何解决梯度不存在时的问题时非常关键的。除了传统的线性规划之外，目前研究最多的就是二次规划问题，主要原因在于其能更好的应用于实际问题中。针对二次规划问题的求解，最为引人注目的就是L型算法，其可以解决大规模问题，但由于其计算的复杂性，在实际的应用中很难被广泛应用。因此，如何解决在实际应用中遇到的二次规划问题依然受到很多学者的关注。针对现有技术中目标函数梯度消失影响机器学习训练过程的问题，目前尚无有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种机器学习的最优化问题处理方法和装置，能够处理机器学习的不可微函数的最优解问题，并且具有很高的收敛速度。基于上述目的，本专利技术实施例的第一方面提供了一种机器学习的最优化问题处理方法，包括执行以下步骤：根据待解决问题确定目标函数和约束条件，并响应于目标函数为不可微分的凸函数而继续下一步骤；基于迭代次数和约束条件使用投影次梯度法更新当前解，并使用当前解带入目标函数以获得当前函数值；响应于当前函数值不符合收敛条件并且迭代次数未超过预定上限，而累加迭代次数并重新执行上一步骤；响应于当前函数值符合收敛条件或迭代次数超过预定上限，而将当前函数值中的最优值所对应的解确定为待解决问题的最优解。在一些实施方式中，基于迭代次数和约束条件使用投影次梯度法更新当前解包括：使用投影次梯度法确定当前解的次梯度；基于迭代次数确定当前解的当前步长；对当前解、当前步长、和次梯度在约束条件上使用指定的投影算子来更新当前解。在一些实施方式中，基于迭代次数确定当前解的当前步长包括：基于迭代次数在预定的步长参数收敛序列上确定当前解的步长参数；基于步长参数和次梯度确定当前步长。在一些实施方式中，投影算子的利普希茨常数为1。在一些实施方式中，收敛条件包括：基于次梯度值的上限、和最优解与当前解之差的绝对值而确定的最优值与当前值之差的上限不超过预定容差范围。在一些实施方式中，方法还包括：响应于目标函数为可微分的凸函数而使用投影梯度法确定待解决问题的最优解。在一些实施方式中，使用投影梯度法确定待解决问题的最优解包括：使用投影梯度法确定或更新当前解，并使用当前解带入目标函数以获得当前函数值；响应于当前函数值不符合收敛条件并且迭代次数未超过上限，而累加迭代次数并重新执行上一步骤；响应于当前函数值符合收敛条件或迭代次数超过上限，而将当前解确定为待解决问题的最优解。本专利技术实施例的第二方面提供了一种机器学习的最优化问题处理装置，包括：处理器；和存储器，存储有处理器可运行的程序代码，程序代码在被运行时执行以下步骤：根据待解决问题确定目标函数和约束条件，并响应于目标函数为不可微分的凸函数而继续下一步骤；基于迭代次数和约束条件使用投影次梯度法更新当前解，并使用当前解带入目标函数以获得当前函数值；响应于当前函数值不符合收敛条件并且迭代次数未超过预定上限，而累加迭代次数并重新执行上一步骤；响应于当前函数值符合收敛条件或迭代次数超过预定上限，而将当前函数值中的最优值所对应的解确定为待解决问题的最优解。在一些实施方式中，基于迭代次数和约束条件使用投影次梯度法更新当前解包括：使用投影次梯度法确定当前解的次梯度；基于迭代次数确定当前解的当前步长；对当前解、当前步长、和次梯度在约束条件上使用指定的投影算子来更新当前解。在一些实施方式中，基于迭代次数确定当前解的当前步长包括：基于迭代次数在预定的步长参数收敛序列上确定当前解的步长参数；基于步长参数和次梯度确定当前步长；并且投影算子的利普希茨常数为1。本专利技术具有以下有益技术效果：本专利技术实施例提供的机器学习的最优化问题处理方法和装置，通过根据待解决问题确定目标函数和约束条件，并响应于目标函数为不可微分的凸函数而继续下一步骤；基于迭代次数和约束条件使用投影次梯度法更新当前解，并使用当前解带入目标函数以获得当前函数值；响应于当前函数值不符合收敛条件并且迭代次数未超过预定上限，而累加迭代次数并重新执行上一步骤；响应于当前函数值符合收敛条件或迭代次数超过预定上限，而将当前函数值中的最优值所对应的解确定为待解决问题的最优解的技术方案，能够处理机器学习的不可微函数的最优解问题，并且具有很高的收敛速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的机器学习的最优化问题处理方法的流程示意图；图2为本专利技术提供的机器学习的最优化问题处理方法的最优值在迭代过程中的变化趋势折线图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种处理机器学习的不可微函数的最优解问题的最优化问题处理方法的一个实施例。图1示出的是本专利技术提供的机器学习的最优化问题处理方法的流程示意图。所述的机器学习的最优化问题处理方法，如图1所示，包括执行以下步骤：步骤S101，根据待解决问题确定目标函数和约束条件，并响应于目标函数为不可微分的凸函数而继续下一步骤；步骤S103，基于迭代次数和约束条件使用投影次梯度法更新当前解，并使用当前解带入目标函数以获得当前函数值；步骤S105，响应于当前函数值不符合收敛条件并且迭代次数未超过预定上限，而累加迭代次数并重新执行上一步骤；步骤S107，响应于当前函数值符合收敛条件或迭代次数超过预定上限，而将当前函数值中的最优值所对应的解确定为待解决问题的最优解。本专利技术首先根据问题列出要求解的目标函数以及变量需要满足的约束条件，其次判断目标函数是否可微，若不可微，则根据提本文档来自技高网...

【技术保护点】
1.一种机器学习的最优化问题处理方法，其特征在于，包括执行以下步骤：/n根据待解决问题确定目标函数和约束条件，并响应于所述目标函数为不可微分的凸函数而继续下一步骤；/n基于迭代次数和所述约束条件使用投影次梯度法更新当前解，并使用所述当前解带入所述目标函数以获得当前函数值；/n响应于所述当前函数值不符合所述收敛条件并且所述迭代次数未超过预定上限，而累加所述迭代次数并重新执行上一步骤；/n响应于所述当前函数值符合所述收敛条件或所述迭代次数超过预定上限，而将所述当前函数值中的最优值所对应的解确定为待解决问题的最优解。/n

【技术特征摘要】
1.一种机器学习的最优化问题处理方法，其特征在于，包括执行以下步骤：
根据待解决问题确定目标函数和约束条件，并响应于所述目标函数为不可微分的凸函数而继续下一步骤；
基于迭代次数和所述约束条件使用投影次梯度法更新当前解，并使用所述当前解带入所述目标函数以获得当前函数值；
响应于所述当前函数值不符合所述收敛条件并且所述迭代次数未超过预定上限，而累加所述迭代次数并重新执行上一步骤；
响应于所述当前函数值符合所述收敛条件或所述迭代次数超过预定上限，而将所述当前函数值中的最优值所对应的解确定为待解决问题的最优解。


2.根据权利要求1所述的方法，其特征在于，基于迭代次数和所述约束条件使用投影次梯度法更新当前解包括：
使用投影次梯度法确定当前解的次梯度；
基于所述迭代次数确定当前解的当前步长；
对当前解、所述当前步长、和所述次梯度在所述约束条件上使用指定的投影算子来更新当前解。


3.根据权利要求2所述的方法，其特征在于，基于所述迭代次数确定当前解的当前步长包括：
基于所述迭代次数在预定的步长参数收敛序列上确定当前解的步长参数；
基于所述步长参数和所述次梯度确定所述当前步长。


4.根据权利要求2所述的方法，其特征在于，所述投影算子的利普希茨常数为1。


5.根据权利要求1所述的方法，其特征在于，所述收敛条件包括：基于所述次梯度值的上限、和最优解与当前解之差的绝对值而确定的最优值与当前值之差的上限不超过预定容差范围。


6.根据权利要求1所述的方法，其特征在于，还包括：响应于所述目标函数为可微分的凸函数而使用投影梯度法确定待解决问题的最优解。


7.根据权利要求6所述...

【专利技术属性】
技术研发人员：刘鑫，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32