学习率计算方法及装置、分类模型计算方法及装置制造方法及图纸

本发明专利技术涉及数据分类技术领域，提供一种学习率计算方法及装置、分类模型计算方法及装置。其中，该学习率计算方法包括：获得用于对数据进行分类的分类模型的经验风险，经验风险的参数包括用于迭代计算分类模型的学习率；基于随机漫步对学习率进行迭代计算，获得经验风险取最小值时学习率的值。由于将随机漫步引入了学习率的迭代计算过程，从而计算获得的学习率能够使作为优化对象的经验风险收敛到全局最优解而非局部最优解。进而分类模型在基于该学习率进行模型的迭代计算时，能够获得较高精度的模型，从而改善数据分类结果的准确性。该分类模型计算方法用于计算梯度渐进回归树模型，其中计算模型的学习率时采用该学习率计算方法进行计算。

【技术实现步骤摘要】
学习率计算方法及装置、分类模型计算方法及装置
本专利技术涉数据分类
，具体而言，涉及一种学习率计算方法及装置、分类模型计算方法及装置。
技术介绍
机器学习(MachineLearning，ML)作为一门多领域交叉学科，广泛应用于数据挖掘、大数据等领域。常见的机器学习算法有：分类算法、聚类算法、神经网络、强化学习等。其中，分类算法是一种有监督学习方法，是数据挖掘中的一个很重要的任务，目的是依据训练样本学习一个分类器，从而实现将数据映射到给定类别中的某一类别(值)。常见的分类算法有决策树、逻辑回归、组合分类器等。梯度渐进回归树是一种组合分类器，由Freidman于1999年提出，属于一种迭代决策回归树算法，该算法生成的梯度渐进回归树模型为一种累加模型。算法的优点主要包括：算法可以灵活处理各种类型的数据、包括连续值和离散值；算法所需参数较少，且准确率较高；算法鲁棒性较好等。基于上述优点，该算法自提出以来应用于各行各业的数据挖掘与大数据分析中。梯度渐进回归树算法的主要缺陷之一是在求解累加模型的学习率时容易陷入局部最优解，不能得到最优模型，从而导致对某些数据进行分类的效果不佳。
技术实现思路
有鉴于此，本专利技术实施例提供一种学习率计算方法及装置、分类模型计算方法及装置，以解决上述技术问题。为实现上述目的，本专利技术提供如下技术方案：第一方面，本专利技术实施例提供一种学习率计算方法，包括：获得用于对数据进行分类的分类模型的经验风险，经验风险的参数包括用于迭代计算分类模型的学习率；基于随机漫步对学习率进行迭代计算，获得经验风险取最小值时学习率的值。可见，由于将随机漫步引入了学习率的迭代计算过程，从而计算获得的学习率能够使作为优化对象的经验风险收敛到全局最优解(即全局最小值)而非局部最优解。进而分类模型在基于该学习率进行模型的迭代计算时，能够获得较高精度的模型，从而改善数据分类结果的准确性。这里所称的分类模型，包括但不限于梯度渐进回归树模型。结合第一方面，在第一方面的第一种可能的实现方式中，学习率为γ，经验风险为J(γ)，基于随机漫步进行迭代计算，获得经验风险取最小值时学习率的值，包括：确定迭代次数K、迭代步长λ的初始值、γ的初始值、误差容忍度ξ以及步长更新参数l，其中，K为正整数，λ>ξ>0，l>1；基于λ对γ进行K次迭代，将第K次迭代后γ的值γ(K)确定为在λ下J(γ)取最小值时γ的值，其中，每次迭代时均基于λ对γ进行随机更新并判断更新后J(γ)的值是否减小；将λ的值更新为λ/l；在确定满足λ≥ξ时，将γ(K)确定为γ的初始值，跳转至“基于λ对γ进行K次迭代”的步骤重复执行，直至满足λ<ξ；将满足λ<ξ时γ的值确定为J(γ)取最小值时γ的值。在上述步骤中，关键在于对γ的更新具有随机性，从而有一定的概率跳出J(γ)的局部最优解。结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，基于λ对γ进行K次迭代，将第K次迭代后γ的值γ(K)确定为在λ下J(γ)取最小值时γ的值，包括：取迭代次数k为1至K，在第k次迭代时生成随机数uk；基于公式γ(k)＝γ(k-1)+λuk计算第k次迭代后γ的值γ(k)，其中，γ(k-1)为第k－1次迭代后γ的值；在确定满足J(γ(k))<J(γ(k-1))时，将γ(k)作为γ的初始值，跳转至“取迭代次数k为1至K，在第k次迭代时生成随机数uk”的步骤重复执行；将第K次迭代后γ的值γ(K)确定为在λ下J(γ)取最小值时γ的值。在上述步骤中，每次迭代时对γ更新后都会比较J(γ(k))以及J(γ(k-1))，并在前者较小时重置迭代次数重新开始迭代，即有一定的概率跳出J(γ)的局部最优解，使J(γ)最终收敛到全局最优解。结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式中，uk为区间[－1，1]内的随机数。uk的取值可以控制随机漫步的范围，uk为区间[－1，1]内的随机数时，随机漫步的范围被控制在以λ为半径的球体内(该球体的维度和数据的维度一致)。第二方面，本专利技术实施例提供一种分类模型计算方法，分类模型为用于对数据进行分类的梯度渐进回归树模型F(x)，F(x)通过M次迭代获得，方法包括：确定迭代次数M、F(x)的初始化模型以及F(x)的经验风险J(γ)，其中，γ为用于迭代计算F(x)的学习率，M为正整数；取迭代次数m为1至M，在第m次迭代时，拟合决策回归树并将决策回归树表示为hm(x)；利用第一方面或第一方面的任意一种可能的实现方式提供的学习率计算方法，计算获得J(γ)在第m次迭代时对应的经验风险Jm(γ)取最小值时γ的值γm；基于公式Fm(x)＝Fm-1(x)+γmhm(x)计算第m次迭代后F(x)的结果Fm(x)，其中，Fm-1(x)为第m－1次迭代后F(x)的结果；将第M次迭代后的F(x)的结果FM(x)确定为F(x)。在该分类模型计算方法在通过优化Jm(γ)计算γm时，利用了本专利技术实施例提供的学习率计算方法进行计算，从而计算获得的γm能够使Jm(γ)收敛到全局最优解，进而获得的F(x)具有较高的模型精度，能够取得较好的分类效果。结合第二方面，在第二方面的第一种可能的实现方式中，Jm(γ)通过如下公式定义：其中，xi为用于训练F(x)的n个训练样本中的第i个训练样本，n为正整数，yi为xi的标签，L为损失函数。结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式中，拟合决策回归树并将决策回归树表示为hm(x)，包括：取i为1至n，对xi基于公式计算L(yi,Fm-1(xi))在Fm-1(xi)处的负梯度rim，在i为n时，共获得n个负梯度；基于n个负梯度拟合决策回归树并将决策回归树表示为hm(x)。在实际中，部分损失函数L难以计算差分，可以利用通过上述方式定义的损失函数L的负梯度作为回归问题中的残差近似值。结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式中，基于n个负梯度拟合决策回归树并将决策回归树表示为hm(x)，包括：确定子空间划分个数Jm；基于n个负梯度，利用分类回归树CART算法拟合决策回归树，决策回归树的总共Jm个叶子节点将n个训练样本划分为Jm个子空间；基于公式计算获得用于表示决策回归树的hm(x)，其中，bjm为利用决策回归树预测获得的、第j个子空间Rjm中的每个训练样本xi的标签的均值，第三方面，本专利技术实施例提供一种学习率计算装置，包括：经验风险获取模块，用于获得用于对数据进行分类的分类模型的经验风险，经验风险的参数包括用于迭代计算分类模型的学习率；学习率获取模块，用于基于随机漫步对学习率进行迭代计算，获得经验风险取最小值时学习率的值。第四方面，本专利技术实施例提供一种分类模型计算装置，分类模型为用于对数据进行分类的梯度渐进回归树模型F(x)，F(x)通过M次迭代获得，装置包括：初始化模块，用于确定迭代次数M、F(x)的初始化模型以及F(x)的经验风险J(γ)，其中，γ为用于迭代计算F(x)的学习率，M为正整数；拟合模块，用于取迭代次数m为1至M，在第m次迭代时，拟合决策回归树并将决策回归树表示为hm(x)；学习率计算模块，本文档来自技高网...

【技术保护点】
1.一种学习率计算方法，其特征在于，包括：获得用于对数据进行分类的分类模型的经验风险，所述经验风险的参数包括用于迭代计算所述分类模型的学习率；基于随机漫步对所述学习率进行迭代计算，获得所述经验风险取最小值时所述学习率的值。

【技术特征摘要】
1.一种学习率计算方法，其特征在于，包括：获得用于对数据进行分类的分类模型的经验风险，所述经验风险的参数包括用于迭代计算所述分类模型的学习率；基于随机漫步对所述学习率进行迭代计算，获得所述经验风险取最小值时所述学习率的值。2.根据权利要求1所述的学习率计算方法，其特征在于，所述学习率为γ，所述经验风险为J(γ)，所述基于随机漫步进行迭代计算，获得所述经验风险取最小值时所述学习率的值，包括：确定迭代次数K、迭代步长λ的初始值、γ的初始值、误差容忍度ξ以及步长更新参数l，其中，K为正整数，λ>ξ>0，l>1；基于λ对γ进行K次迭代，将第K次迭代后γ的值γ(K)确定为在λ下J(γ)取最小值时γ的值，其中，每次迭代时均基于λ对γ进行随机更新并更新后J(γ)的值是否减小；将λ的值更新为λ/l；在确定满足λ≥ξ时，将γ(K)确定为γ的初始值，跳转至“基于λ对γ进行K次迭代”的步骤重复执行，直至满足λ<ξ；将满足λ<ξ时γ的值确定为J(γ)取最小值时γ的值。3.根据权利要求2所述的学习率计算方法，其特征在于，所述基于λ对γ进行K次迭代，将第K次迭代后γ的值γ(K)确定为在λ下J(γ)取最小值时γ的值，包括：取迭代次数k为1至K，在第k次迭代时生成随机数uk；基于公式γ(k)＝γ(k-1)+λuk计算所述第k次迭代后γ的值γ(k)，其中，γ(k-1)为第k－1次迭代后γ的值；在确定满足J(γ(k))<J(γ(k-1))时，将γ(k)作为γ的初始值，跳转至“取迭代次数k为1至K，在第k次迭代时生成随机数uk”的步骤重复执行；将第K次迭代后γ的值γ(K)确定为在λ下J(γ)取最小值时γ的值。4.根据权利要求3所述的学习率计算方法，其特征在于，uk为区间[－1，1]内的随机数。5.一种分类模型计算方法，其特征在于，所述分类模型为用于对数据进行分类的梯度渐进回归树模型F(x)，F(x)通过M次迭代获得，所述方法包括：确定迭代次数M、F(x)的初始化模型以及F(x)的经验风险J(γ)，其中，γ为用于迭代计算F(x)的学习率，M为正整数；取迭代次数m为1至M，在第m次迭代时，拟合决策回归树并将所述决策回归树表示为hm(x)；利用如权利要求1－4中任一项所述的学习率计算方法计算获得J(γ)在第m次迭代时对应的经验风险Jm(γ)取最小值时γ的值γm；基于公式Fm(x)＝Fm-1(x)+γmhm(x)计算所述第m次迭代后...

【专利技术属性】
技术研发人员：覃进学，王纯斌，詹雪薇，
申请(专利权)人：成都四方伟业软件股份有限公司，
类型：发明
国别省市：四川,51