【技术实现步骤摘要】
一种启发式指导的异步历史优化方法及相关设备
[0001]本专利技术涉及计算机科学领域，尤其涉及一种启发式指导的异步历史优化方法、系统、终端及计算机可读存储介质。
技术介绍
[0002]近年来，分布式优化方法常用于解决现代大规模机器学习问题，而处理庞大数据集的挑战导致了具有异步性和历史性优化方法的发展；异步优化方法减少了工作节点的空闲时间及降低了通信成本，对梯度历史的操作会增强系统随机性以加快收敛；然而当前的批处理云系统无法同时对异步和历史机制提供强大支持，例如，经典分布式数据处理系统Hadoop和Spark基于迭代map
‑
reduce实现，仅使用同步迭代式通信模式；由于不支持异步，执行过程中经常由于掉队节点和网络延迟造成性能损失，同时巨量的存储开销导致这些系统无法有效维护历史记录，这会降低系统的容错性，减缓收敛；另一方面，一些分布式机器学习引擎如Petuum，Litz等基于参数服务器拓扑实现，虽支持异步优化，但对于大规模集群，于工作节点存储历史梯度的方式将带来巨量的开销，严重影响系统性能。
[00...
【技术保护点】
【技术特征摘要】
1.一种启发式指导的异步历史优化方法，其特征在于，所述启发式指导的异步历史优化方法包括：获取集群控制节点和工作节点，控制所述集群控制节点对模型的参数及计算图进行初始化，并将初始化后的数据发送至所述工作节点；控制所述工作节点对所述数据进行训练，通过训练得到的状态表记录信息，并控制所述工作节点将所述状态表发送至所述集群控制节点；在所述集群控制节点接收所述状态表后，控制所述集群控制节点异步进行所述计算图的更新和所述工作节点的参数优化；当所述集群控制节点更新计算图时，控制所述集群控制节点基于所述状态表中的梯度对本轮迭代的参数进行更新，将更新后的参数作为历史参数以迭代次数为序号存储至所述集群控制节点，并基于所述状态表中的负载状况更新所述计算图；当所述集群控制节点优化所述工作节点的参数时，将所述工作节点的负载所对应的历史参数发送至所述工作节点，控制所述工作节点将所述历史参数进行处理得到最新梯度，并将所述最新梯度发送至所述集群控制节点以完成所述模型的更新。2.根据权利要求1所述的启发式指导的异步历史优化方法，其特征在于，所述获取集群控制节点和工作节点，控制所述集群控制节点对模型的参数及计算图进行初始化，并将初始化后的数据发送至所述工作节点，具体包括：基于参数服务器拓扑结构，将集群分为集群控制节点和工作节点；控制所述集群控制节点初始化模型的参数和所述工作节点执行的任务与负载情况，并通过模型并行方式将初始化后的数据发送至所述工作节点。3.根据权利要求1所述的启发式指导的异步历史优化方法，其特征在于，所述控制所述工作节点对所述数据进行训练，通过训练得到的状态表记录信息，并控制所述工作节点将所述状态表发送至所述集群控制节点，具体包括：当所述工作节点接收所述数据时，控制所述工作节点将所述数据进行切片得到目标数据；将所述目标数据进行训练得到状态表，基于所述状态表记录训练完成的信息，并控制所述工作节点将所述状态表发送至所述集群控制节点。4.根据权利要求3所述的启发式指导的异步历史优化方法，其特征在于，所述控制所述工作节点将所述状态表发送至所述集群控制节点，之后还包括：预先设置所述工作节点的最快与最慢的迭代轮数差值的阈值；在每个工作节点上设置计时器，基于所述计时器记录当前的迭代轮数至所述状态表中，并控制所述集群控制节点基于所述状态表监控每个工作节点的迭代轮数；若监控到工作节点的最快与最慢的迭代轮数差值达到阈值时，则控制迭代轮数最多的工作节点进入等待状态，并暂停所述工作节点的参数更新。5.根据权利要求3所述的启发式指导的异步历史优化方法，其特征在于，所述信息包括每个工作节点的迭代轮数、梯度、工作节点的损失值、数据批量大小、平均任务完成时间、工作节点负载状态和最快轮数间的距离。6.根据权利要求1所述的启发式指导的异步历史优化方法，其特征在于，所述当所述集群控制节点更新计算图时，控制所述集群控制节点基于所述状态表中的梯度对本轮迭代的
参数进行更新，将更新后的参数作为历史参数以迭代次数为序号存储至所述集群控制节点，并基于所述状态表中的负载状况更新所述计算图，具体包括：当所述集群控制节点更新计算图时，控制所述集群控制节点根据所述状态表中的梯度更新本轮迭代的参数，并将所述参数对应的参数信息与损失值信息以迭代次数为序号存储至所述集群控制节点；基于所述状态表调用原始计算图，使用最小割算法对所述原始计算图进行切割，得到多种候选子图；控制所述集群控制节点根据所述状态表中工作节点负载状态、数据批量大小及平均任务完成时间分别计算出所述候选子图的算子COST，并对所述算子COST进行融合以完成计算图的更...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。