【技术实现步骤摘要】
一种基于延迟处理的混合分布式机器学习更新方法
本专利技术设计分布式机器学习系统及更新方法，尤其是设计异步更新方法的一种基于延迟处理的混合分布式机器学习更新方法；
技术介绍
分布式机器学习更新方法大致可以分为同步更新方法和异步更新方法两类：同步更新方法要求在每次迭代过程中执行同步等待至集群中所有的训练节点都完成训练任务后再进行下一次迭代，同步更新方法可以有效地保证各个训练节点的参数一致性并提供较好的收敛性能，但整个集群的训练速度受制于计算性能最慢的训练节点，训练节点出现宕机可能会导致这个训练任务的失败，集群的训练效率往往不高。异步更新方法取消强制同步等待过程，训练节点并行执行计算任务并通过服务器节点实现全局参数的维护和更新，大大提升训练速度和容灾能力，但存在使用过去某时刻的计算结果更新全局参数的梯度延迟问题，往往需要更多次迭代才能收敛，甚至无法收敛。
技术实现思路
为了解决
技术介绍
中存在的问题，本专利技术提出了一种基于延迟处理的混合分布式机器学习更新方法。本专利技术能够结合同步更新方法和异步更新方法，取长补...
【技术保护点】
1.一种基于延迟处理的混合分布式机器学习更新方法，其特征在于：/n1)根据分布式集群中节点负载不均衡的情况构建分层通信拓扑结构；/n所述的分布式集群是指由众多服务器拓扑连接构成的分布式集群，其中的节点包括服务器节点和工作节点，机器学习模型均存储在服务器节点和工作节点中并分布式计算运行，且机器学习模型在分布式集群的各个节点中采用随机梯度下降更新方法优化训练学习；/n2)根据分层通信拓扑结构采用同步更新方法与异步更新方法相结合的混合分布式机器学习更新方法，组内相近的工作节点采用同步更新方法进行训练，各组间不相近的工作节点采用异步更新方法进行训练；/n所述的异步更新方法采用基于延...
【技术特征摘要】
1.一种基于延迟处理的混合分布式机器学习更新方法，其特征在于：
1)根据分布式集群中节点负载不均衡的情况构建分层通信拓扑结构；
所述的分布式集群是指由众多服务器拓扑连接构成的分布式集群，其中的节点包括服务器节点和工作节点，机器学习模型均存储在服务器节点和工作节点中并分布式计算运行，且机器学习模型在分布式集群的各个节点中采用随机梯度下降更新方法优化训练学习；
2)根据分层通信拓扑结构采用同步更新方法与异步更新方法相结合的混合分布式机器学习更新方法，组内相近的工作节点采用同步更新方法进行训练，各组间不相近的工作节点采用异步更新方法进行训练；
所述的异步更新方法采用基于延迟处理的异步更新方法，为改进的异步更新方法。
2.根据权利要求1所述的一种基于延迟处理的混合分布式机器学习更新方法，其特征在于：所述的服务器节点用于保存有机器学习模型结构和参数以及计算机器学习模型的权重参数，工作节点用于保存有机器学习模型结构和参数以及计算机器学习模型的中间梯度参数。
3.根据权利要求1所述的一种基于延迟处理的混合分布式机器学习更新方法，其特征在于：所述的步骤1)中，根据分布式集群中节点负载不均衡的情况，对所有工作节点按照与服务器节点的通信代价进行聚类分组，从而将与服务器节点的通信代价相近的工作节点聚类为一组，每一组内随机选择任意一节点作为中间节点，每组内所有工作节点产生的计算结果聚集存储到中间节点，并且不同组间的各个中间节点的计算结果同时聚集存储到服务器节点。
4.根据权利要求3所述的一种基于延迟处理的混合分布式机器学习更新方法，其特征在于：所述的聚集存储是进行求和后取平均值并存储平均值的操作。
5.根据权利要求1所述的一种基于延迟处理的混合分布式机器学习更新方法，其特征在于：所述的步骤2)中，具体为：
针对聚类分组后的每一组，组内所有工作节点在随机梯度下降更新方法的当前次迭代过程计算出的梯度聚集存储到服务器节点，服务器节点根据梯度更新权重参数，在随机梯度下降更新方法的下次迭代过程时从服务器节点将更新后的权重参数发送到组内各个工作节点，再由组内各个工作节点利用随机梯度下降更新方法更新计算下次迭代的梯度；
针对聚类分组后的不同组，每个组内所有工作节点在随机梯度下降更新方法的当前次迭代过程计算出的梯度...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。