【技术实现步骤摘要】
本专利技术属于控制与机器学习，涉及一种基于交替方向乘子法算法框架的分布式异步优化方法。
技术介绍
1、逻辑回归是一种简单、高效且解释性强的分类算法，其在经济金融、机器学习、环境科学、生物医药等领域有着广泛的研究和应用意义。而随着这些众多领域的快速发展及数据的获取、存储技术不断提升，当今逻辑回归问题的研究面临数据量大，特征维度高的问题，使得计算和分析变得困难。
2、近年来，求解逻辑回归的方法随着研究的深入已呈现多种多样。对于样本量较小、特征维度不高的情况，可以直接使用解析解求解逻辑回归模型，这种方法计算简单，速度快；处理大规模数据时，梯度下降法是一个选择，可以保证找到全局最优解或局部最优解；牛顿法利用目标函数的二阶导数信息进行迭代优化，通常能够更快地收敛到局部最优解，并且对于目标函数具有较好的二次近似能力。而相对于以上算法，本专利技术所利用的交替方向乘子法算法框架的优点在于可以将复杂的大规模优化问题转化为一系列相对简单的子问题，并通过并行计算或者分布式计算来加速整个优化过程。此外，交替方向乘子法在处理带非光滑惩罚项的问题时更加有效，其收敛性和收敛速度得到了严格的证明，具有更充分的理论保证。
3、求解逻辑回归问题的异步更新机制是指在分布式系统或并行计算环境下，各个节点可以以不同的频率对数据进行回归分析的一种方式。在传统的同步更新机制中，所有节点需要等待最慢的计算单元完成参数更新后才能进行下一轮的更新，这样会造成资源的浪费和计算效率的降低。异步更新机制则允许各个节点根据自身的计算能力和负载情况来独立更新参数，从
4、而异步机制分为平衡更新速率和不平衡更新速率。平衡更新速率是指即使节点之间的计算能力不完全相同，它们仍然会以相对统一的速率进行参数更新。这种设计具有设计简单、容易调控的特点。而本专利技术针对的是不平衡更新速率问题，这种设计的优势在于可以更灵活地适应实际系统中不同节点的计算能力和负载情况。通过允许节点以不同的速率进行更新，系统可以更加高效地利用每个节点的计算资源，从而提高整体的计算效率。然而不平衡更新条件下，节点间迭代速率可能差异较大，不得不面对收敛结果向更新较快节点的结果偏移，算法收敛缓慢的问题。
技术实现思路
1、针对异步更新机制中节点更新速率不平衡的问题，本专利技术提出了一种解逻辑回归问题的分布式异步优化方法。以更新最快的节点为基准，利用历史信息对其他节点进行不同程度的加速；且随着节点更新快慢变化，对不同节点的加速程度也可以自适应地进行变化。
2、本专利技术采用的技术方案如下：
3、一种解逻辑回归问题的分布式异步优化方法，包含以下步骤
4、步骤1：考虑在时间范围t上的分布式在线一致优化问题，其中各子节点通过主节点进行合作，达成一致决策的同时最小化目标函数，优化模型具体表述如下：
5、
6、s.t.axi＝y,i＝1,2,…,n
7、其中：xi∈rm表示子节点i的决策变量，χ是xi的紧集，y∈rn表示主节点的决策变量，ψ是y的紧集，fi,t(xi)是节点i上的时变凸代价函数，下标t表示时隙索引，h(y)表示惩罚代价函数，a∈rn×m表示系数矩阵。
8、借助交替方向乘子法算法框架，上式的增广拉格朗日函数如下：
9、
10、
11、其中，λi表示对偶变量，ρ>0是一个惩罚参数，交替方向乘子法通过交替更新原始和对偶变量直到收敛，更新方式如下：
12、
13、
14、λi,t+1＝λi,t-ρ(axi,t+1-yt+1)
15、步骤2：考虑子节点的异步更新。在当前更新时刻，子节点分为活跃子节点和空闲子节点。对于空闲子节点，令其局部决策变量xi,t+1＝xi,t，而对于活跃子节点，其局部决策变量更新方式为
16、
17、其中：表示节点i上一次更新时刻，v∈(0,1]表示遗忘因子，gi,ι属于fi,ι(·)的次梯度。是一个布雷格曼散度项，用来约束两个时刻的变量差异，η表示其权重，设置gt＝γi-ρηata，用以抵消x的二次项，且γ足够大使得gt是正的。τi表示节点i包括当前更新时刻在内的τi个历史更新时刻，每个节点的历史更新数据由各自缓冲区进行保存，τi的大小是自适应的，且与系统中个体更新速率的不平衡程度有关；具体更新方式如下
18、
19、其中，li表示节点i的累计更新次数，通过每个子节点记录，表示已知其它节点的最大更新次数，通过主节点获得，ceil表示向上取整，是一个预设的常数，表示τi存在一个上界，即考虑历史信息的有效性，如果计算得到vi的值超过上界则令设计τi的目的是以更新最快的节点为基准，不同程度上加快其它节点的更新，从而减小系统更新的不平衡，最终加快算法收敛。
20、步骤3：异步更新机制下，主节点接收来自活跃子节点的信息，更新同时更新全局决策变量
21、
22、其中：st表示t时刻活跃子节点的集合。更新完成后，将更新信息广播给所有活跃子节点。
23、步骤4：接收到主节点全局决策变量后，活跃子节点更新对偶变量
24、λi,t+1＝λi,t-ρ(axi,t+1-yt+1)
25、而空闲子节点令λi,t+1＝λi,t。
26、如果决策变量趋于不变或者达到所预设迭代上界，则算法停止，否则继续执行2、3、4步。
27、本专利技术利用多节点分布式方法解决优化问题。由于训练误差构成的回归损失函数可以看成多个局部损失函数的加和，因此考虑利用多个节点进行分布式处理，分散问题的复杂性，使得整体优化过程更加高效。另外，因为每个子问题只需关注部分数据或参数，减少了单一节点的计算和存储压力，使得系统更具可扩展性。不同节点之间优化的差异性还可以带来更多的多样性，从而有助于避免陷入局部最优解。节点间相互独立，因此某个节点的失败或错误不会对整个优化过程产生巨大影响，提高了系统的鲁棒性和容错性。
28、本专利技术采用了在线优化的求解方式。基于当前时间的新信息，在每个时间步执行单次迭代，使得计算复杂度大大降低。在线优化算法具有持续处理动态数据的能力，使其可以更好地适应环境的变化和模型的演化。对于逻辑回归问题来说，算法可以对逻辑损失函数进行不断地优化，以求得最佳的决策边界。
29、本专利技术采用了不平衡更新速率条件下的异步节点更新机制。异步机制允许节点根据自己的情况，在不同的时间点上进行决策和更新，从而提高了系统的效率和灵活性。在异步更新算法中，由于各个节点可以独立地对损失函数进行计算，相互之间不会产生阻塞或依赖，这样即使遇到故障或失败，任务和进程仍然可以继续执行，提高了系统的容错能力和可靠性。此外，异步机制还避免了同步机制中节点在一个时刻对其他节点的等待，并产生较大计算延迟和通信开销的问题。但在数据量大的情况下，不同节点由于计算能力、处理数据能力的不同可能产生本文档来自技高网...
【技术保护点】
1.一种基于交替方向乘子法算法框架的分布式异步优化方法，其特征在于以下步骤：
【技术特征摘要】
1.一种基于交替方向乘子法算法框架的分...
【专利技术属性】
技术研发人员：连捷，杜俊鹏，徐晓鹏，王柱，刘加勋，王东，王伟，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。