基于随机梯度追踪技术的大数据二分类分布式优化方法技术

本发明专利技术公开了一种基于随机梯度追踪技术的大数据二分类分布式优化方法，具体步骤为：设定二分类问题，获取训练样本数据、测试样本数据、样本特征；采用one‑hot编码将训练样本数据和测试样本数据扩展成向量数据，得到训练样本向量数据和测试样本向量数据；将训练样本向量数据进行智能体分配，结合梯度跟踪策略与随机平均梯度策略，建立带未知参数的分布式随机梯度跟踪策略S‑DIGing的问题模型；求解未知参数；将测试样本向量数据代入分布式随机梯度跟踪策略S‑DIGing的问题模型中进行二分类验证，并输出所述二分类问题对应的分布式随机梯度跟踪策略S‑DIGing的问题模型。极大降低了策略的复杂度和计算量，从而使S‑DIGing策略能够很好地处理大规模问题。

【技术实现步骤摘要】
基于随机梯度追踪技术的大数据二分类分布式优化方法
本专利技术涉及大数据分类处理
，具体的说是一种基于随机梯度追踪技术的大数据二分类分布式优化方法。
技术介绍
随着无线传感器网络、智能电网、机器学习和云计算等领域应用的出现，分布式优化理论和应用受到了广泛关注，并逐渐渗透到科学研究、工程应用和社会生活的多个方面。与传统的集中优化问题不同，分布式优化问题的主要思想是利用网络中的多个智能体共同最小化全局目标函数每个智能体计算自身的局部信息并将结果发送给其邻居代理。在现有文献中，对分布式优化策略的研究主要基于牛顿法、次梯度下降法和拉格朗日法。与其它两种策略相比，梯度下降策略相对简单，每个智能体只需计算局部目标函数的梯度，并根据梯度值进行梯度下降。基于梯度法，在文献[S.Liu,Z.Qiu,andL.Xie,“Convergencerateanalysisofdistributedoptimizationwithprojectedsubgradientalgorithm,”Automatica,vol.83,pp.162–169,2017]中证明当衰减步长小于给定上界且全局目标函数强凸时，估值能以O(1/k)的速度收敛到全局最优解。为了进一步提高收敛速度，在文献[A.Nedi′c,A.Olshevsky,Shi,andWei,“Achievinggeometricconver-gencefordistributedoptimizationovertime-varyinggraphs,”SIAMJournalonOptimization,vol.27,no.4,pp.2597–2633,2017]中将非精确梯度法与梯度跟踪技术相结合，提出DIGing策略。该策略采用双随机矩阵和同构固定步长，只要固定步长不超过某个上界，DIGing策略就可以以线性速率收敛。上述文献提出的梯度跟踪策略的基础上，有专业技术人员创新性地发展了一种对偶策略(PANDA)。PANDA策略的优点是，它每次迭代需要的通信量只是DIGing策略的一半。但是PANDA策略在每次迭代所消耗的计算量比DIGing策略的高，详见M.MarosandJ.Jald～Ac？n,“Panda:Aduallinearlyconvergingmethodfordistributedoptimizationovertime-varyingundirectedgraphs,”in2018IEEEConferenceonDecisionandControl(CDC),pp.6520–6525,2018。与梯度下降法不同，基于牛顿法的策略通常具有更快的收敛速度，但计算成本更高。该类策略利用局部一阶和二阶偏导数信息估计全局目标函数的梯度，并以此进行变量更新来得到全局最优解。为了降低计算量，一种计算量较小的拟牛顿法被提出了。拟牛顿法的基本思想是避免在每次迭代求解Hessian矩阵的逆。它使用正定矩阵来逼近Hessian矩阵的逆，从而简化了计算复杂度，详见文献(S.BolognaniandS.Zampieri,“DistributedQuasi-Newtonmethodanditsapplicationtotheoptimalreactivepowerflowproblem,”IFACProceedingsVolumes,vol.43,no.19,pp.305–310,2010.以及A.LewisandM.Overton,“Nonsmoothoptimizationviaquasi-Newtonmethods,”MathematicalProgramming,vol.141,no.1-2,pp.135–163,2013.)。结合文献“W.Lin,Y.Wang,C.Li,andJ.Xiao,“Globaloptimization:Adistributedcompensationalgorithmanditsconvergenceanalysis,”IEEETransac-tionsonSystems,Man,andCybernetics:Systems,pp.1–15,2019.”可知，拉格朗日乘子法主要用于求解约束优化问题。其基本思想是通过引入拉格朗日乘子将m变量和d约束的约束优化问题转化为m+d变量的无约束优化问题。典型的例子是分布式交替方向乘子法(ADMM)，在此基础上，许多分布式策略被提出。对于强凸函数，这些策略能够以线性收敛速度收敛至全局最优解，但由于每个智能体在每个时刻都要对其局部目标函数进行优化，计算量大。在分布式环境下处理如机器学习、数据挖掘等问题时，局部目标函数通常十分繁杂，上述策略都需要花费较高的计算代价求解局部梯度故有必要提出一种新的优化方法来解决现有技术存在的问题。
技术实现思路
针对上述问题，本专利技术提供了一种基于随机梯度追踪技术的大数据二分类分布式优化方法，结合梯度跟踪策略与随机平均梯度策略，提出了基于随机平均梯度的梯度追踪(S-DIGing)策略，建立问题模型，进行大数据二分类设计，解决大数据分类问题，分类误差小。为达到上述目的，本专利技术采用的具体技术方案如下：一种基于随机梯度追踪技术的大数据二分类分布式优化方法，其关键技术在于：具体步骤为：S1：设定二分类问题，获取对应二分类问题的数据集，从数据集中选取出N个训练样本数据和K个测试样本数据，并获取数据集样本的样本特征；S2：采用one-hot编码将训练样本数据和测试样本数据扩展成向量数据，得到N个训练样本向量数据和K个测试样本向量数据；S3：将N个训练样本向量数据进行智能体分配，每个智能体分配到qi个训练样本向量数据；S4：结合梯度跟踪策略与随机平均梯度策略，建立带未知参数的分布式随机梯度跟踪策略S-DIGing的问题模型；S5：求解分布式随机梯度跟踪策略S-DIGing的问题模型的未知参数；S6：将K个测试样本向量数据代入分布式随机梯度跟踪策略S-DIGing的问题模型中进行二分类验证，并输出所述二分类问题对应的分布式随机梯度跟踪策略S-DIGing的问题模型。通过上述设计，提出了一种将梯度跟踪策略与随机平均梯度相结合的分布式随机梯度跟踪策略，解决了局部目标函数均为瞬时函数的分布式优化问题。采用无偏随机梯度技术，极大地降低了智能体计算局部目标函数梯度的计算开销。进一步的，所述带未知参数的分布式随机梯度跟踪策略S-DIGing的问题模型为：li，h∈{-1，+1}表示智能体i的第h个样本的标签；ci，h表示智能体i第h个样本训练数据；m为智能体的个数；即将N个训练样本数据分配至m个智能体上，qi为每个智能体获得的样本；||·||为向量的欧几里得范数与矩阵的谱范数；表示实数集，为n维的实数集；为问题模型的未知参数；为变量。再进一步的技术方案为：所述求解分布式随机梯度跟踪策略S-DIGing的问题模型的未知参数的步骤为：S51、每个智能体是智能体集合；初始化h＝0…qi；并设定随机时刻k的最大阈值；设定本文档来自技高网...

【技术保护点】
1.一种基于随机梯度追踪技术的大数据二分类分布式优化方法，其特征在于：具体步骤为：/nS1：设定二分类问题，获取对应二分类问题的数据集，从数据集中选取出N个训练样本数据和K个测试样本数据，并获取数据集样本的样本特征；/nS2：采用one-hot编码将训练样本数据和测试样本数据扩展成向量数据，得到N个训练样本向量数据和K个测试样本向量数据；/nS3：将N个训练样本向量数据进行智能体分配，每个智能体分配到q

【技术特征摘要】
1.一种基于随机梯度追踪技术的大数据二分类分布式优化方法，其特征在于：具体步骤为：
S1：设定二分类问题，获取对应二分类问题的数据集，从数据集中选取出N个训练样本数据和K个测试样本数据，并获取数据集样本的样本特征；
S2：采用one-hot编码将训练样本数据和测试样本数据扩展成向量数据，得到N个训练样本向量数据和K个测试样本向量数据；
S3：将N个训练样本向量数据进行智能体分配，每个智能体分配到qi个训练样本向量数据；
S4：结合梯度跟踪策略与随机平均梯度策略，建立带未知参数的分布式随机梯度跟踪策略S-DIGing的问题模型；
S5：求解分布式随机梯度跟踪策略S-DIGing的问题模型的未知参数；
S6：将K个测试样本向量数据代入分布式随机梯度跟踪策略S-DIGing的问题模型中进行二分类验证，并输出所述二分类问题对应的分布式随机梯度跟踪策略S-DIGing的问题模型。


2.根据权利要求1所述的基于随机梯度追踪技术的大数据二分类分布式优化方法，其特征在于：所述带未知参数的分布式随机梯度跟踪策略S-DIGing的问题模型为：



其中，li，h∈{-1，+1}表示智能体i的第h个样本的标签；ci，h表示智能体i第h个样本训练数据；m为智能体的个数；即将N个训练样本数据分配至m个智能体上，qi为每个智能体获得的样本；||·||表示向量的欧几里得范数与矩阵的谱范数表示实数集，表示n维的实数集；为问题模型的未知参数；为变量。


3.根据权利要求2所述的基于随机...

【专利技术属性】
技术研发人员：李华青，郑李逢，董滔，王政，吕庆国，严羽，冯丽萍，邬祥钊，郑祖卿，郭靖，
申请(专利权)人：西南大学，
类型：发明
国别省市：重庆;50