一种半异步并行神经网络的计算优化方法及系统技术方案

本发明专利技术公开了一种半异步并行神经网络的计算优化方法及系统，该方法包括：初始化参数；将相关参数发送给空闲的计算节点；预测计算节点计算所需的时间；将计算节点分类；等待任一节点计算完毕后根据计算节点的类别发送对应命令；本次循环计算结束后进行参数更新；返回计算节点计算步骤直至更新后的神经网络的准确度达到预设值。该系统包括：参数服务器和计算节点。本发明专利技术克服了某些节点计算速度过慢导致整体速度过慢的问题。本发明专利技术作为一种半异步并行神经网络的计算优化方法及系统，可广泛应用于网络优化领域。

【技术实现步骤摘要】
一种半异步并行神经网络的计算优化方法及系统
本专利技术属于网络优化领域，尤其涉及一种半异步并行神经网络的计算优化方法及系统。
技术介绍
同步随机梯度下降方法中，服务器需要服务器需要等待所有的计算节点的梯度都计算完后才能进行参数的更新。在计算节点的数量规模较大时，由于各种环境噪音的存在，很容易就出现某些节点计算速度显著慢于其它节点的情况；或者由于计算的网络链接拓扑的不对称，就会使得某些节点与服务器通信所需的时间显著长于其它节点。在这种情况出现时，整体计算过程就会被最慢的节点所拖慢。特别地，如果计算节点之间本身就是异构的，某些节点计算速度本身就比较缓慢，那么整体的计算速度也会变得极为缓慢，降低了网络的训练速度。
技术实现思路
为了解决上述技术问题，本专利技术的目的是提供一种半异步并行神经网络的计算优化方法及系统，克服了某些节点计算速度过慢导致整体速度过慢的问题。本专利技术所采用的第一技术方案是：一种半异步并行神经网络的计算优化方法，包括以下步骤：S1、初始化计算节点的相关参数和神经网络的相关参数；S2、将神经网络的相关参数发送给空闲的计算节点并命令计算节点执行计算；S3、基于速度预测器预测计算节点所需的计算时间，得到预测结果；S4、根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果；S5、等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作；S6、根据预设规则判断本次循环计算结束并对神经网络和速度预测器进行参数更新，得到更新后的神经网络；S7、返回步骤S2直至更新后的神经网络的准确度达到预设值。进一步，还包括计算节点的工作步骤：接收来自参数服务器发送的神经网络的相关参数；获取样本并将样本通过神经网络，计算神经网络的梯度；将梯度发送给参数服务器，接收参数服务器返回的命令并执行相应的工作。进一步，所述预测计算节点所需的时间，得到预测结果这一步骤，其具体包括：将计算节点上一次循环的计算时长输入到预构建的速度预测器；根据计算节点上一次循环的计算时长预测该计算节点本次计算所需的时间，得到预测结果。进一步，所述预构建的速度预测器采用长短期记忆网络模型。进一步，所述根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果这一步骤，其具体包括：根据预测结果和节点状态计算本次循环计算的可能的结束时间点；对可能的结束时间点进行打分并选取最优的结束时间点；根据最优的结束时间点对每个计算节点进行分类，得到分类结果。进一步，所述分类结果包括第一类别节点和第二类别节点，所述第一类别节点为本次循环中预计等待时间较短的计算节点，所述第二类别节点为本次循环中预计等待时间较长的计算节点。进一步，所述等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作这一步骤，其具体包括：等待任一计算节点计算完毕，根据计算节点的类别给出不同的指令；对于第一类别节点，参数服务器接收计算结果并发送停止计算命令给该计算节点，计算节点转为空闲等待状态；对于第二类别节点，参数服务器接收计算结果并发送继续计算命令给该计算节点，计算节点继续开始计算。进一步，所述根据预设规则判断本次循环计算结束具体为判断到第一类计算节点全部计算完毕，本次循环计算结束。本专利技术所采用的第二技术方案是：半异步并行神经网络的计算优化系统，包括：参数服务器，用于初始化参数、发送相关参数、预测计算时间、将计算节点分类、发送回应、参数更新和判断准确度；计算节点，用于接收相关参数、执行计算和响应命令。本专利技术方法及系统的有益效果是：本专利技术克服了某些节点计算速度过慢导致整体速度过慢的问题，有效缓解了慢速节点对整体训练速度的影响，同时也有效地减少了参数服务器更新参数的频率，减少了梯度的计算延时，保证了计算精度。附图说明图1是本专利技术一种半异步并行神经网络的计算优化方法的步骤流程图；图2是本专利技术一种半异步并行神经网络的计算优化系统的结构框图。具体实施方式下面结合附图和具体实施例对本专利技术做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。参照图1，本专利技术提供了一种半异步并行神经网络的计算优化方法，该方法包括以下步骤：S1、初始化计算节点的相关参数和神经网络的相关参数；具体地，需要初始化的参数包括(1)所有节点的历史计算时间，一般默认设置为相同的一个数值(2)神经网络的相关超参数，如学习率、批次大小等(3)速度预测器的参数(4)将所有计算节点标记为空闲。S2、将神经网络的相关参数发送给空闲的计算节点并命令计算节点执行计算；具体地，将神经网络的参数发送给所有空闲的计算节点：对在上一次循环中计算完成并已经提交了计算结果(即梯度)的所有节点，参数服务器将更新后的参数分别发给它们，让它们开始下一轮的计算，此时将所有节点标记为忙碌；S3、基于速度预测器预测计算节点所需的计算时间，得到预测结果；具体地，根据每个计算节点以往的提交计算结果的速度，通过速度预测器预测它们接下来若干次计算所需的时间。S4、根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果；具体地，根据预测结果和节点状态估计本次循环用时，将所有计算节点分为二类：第一类是该次循环中预计等待时间较短的节点，第二类是该轮中预计等待时间较长的节点；S5、等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作；具体地，等待任一节点计算完毕，根据计算节点的类别，做出不同的反应：对于第一类节点，服务器会接收其计算结果，然后发送回应1给该节点，令其停止计算，进入空闲等待的状态；而对于第二类节点，当其计算完毕后，服务器会接收其计算结果，然后发送回应2给该节点，令该节点马上继续开始计算。S6、根据预设规则判断本次循环计算结束并对神经网络和速度预测器进行参数更新，得到更新后的神经网络；具体地，检查第一类节点是否全部都计算完完毕，若全部计算完毕，则对神经网络和速度预测器进行参数更新，否则回到步骤S5，继续等待节点计算。根据所有计算完成的结果，对网络进行一次梯度优化；同时根据每个计算节点本次的计算用时，对速度预测器也进行一次优化。S7、返回步骤S2直至更新后的神经网络的准确度达到预设值。具体地，对更新后的神经网络的准确度进行判断，若已达到要求，则完成训练，将回应3发送给所有计算节点，退出；否则继续回到步骤S2，进行下一轮循环的训练。进一步作为本方法的优选实施例，还包括计算节点的工作步骤：接收来自参数服务器发送的神经网络的相关参数；具体地，从参数服务器获取整个网络的所有参数。获取样本并将样本通过本文档来自技高网...

【技术保护点】
1.一种半异步并行神经网络的计算优化方法，其特征在于，包括参数服务器的工作步骤：/nS1、初始化计算节点的相关参数和神经网络的相关参数；/nS2、将神经网络的相关参数发送给空闲的计算节点并命令计算节点执行计算；/nS3、基于速度预测器预测计算节点所需的计算时间，得到预测结果；/nS4、根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果；/nS5、等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作；/nS6、根据预设规则判断本次循环计算结束并对神经网络和速度预测器进行参数更新，得到更新后的神经网络；/nS7、返回步骤S2直至更新后的神经网络的准确度达到预设值。/n

【技术特征摘要】
1.一种半异步并行神经网络的计算优化方法，其特征在于，包括参数服务器的工作步骤：
S1、初始化计算节点的相关参数和神经网络的相关参数；
S2、将神经网络的相关参数发送给空闲的计算节点并命令计算节点执行计算；
S3、基于速度预测器预测计算节点所需的计算时间，得到预测结果；
S4、根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果；
S5、等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作；
S6、根据预设规则判断本次循环计算结束并对神经网络和速度预测器进行参数更新，得到更新后的神经网络；
S7、返回步骤S2直至更新后的神经网络的准确度达到预设值。


2.根据权利要求1所述一种半异步并行神经网络的计算优化方法，其特征在于，还包括计算节点的工作步骤：
接收来自参数服务器发送的神经网络的相关参数；
获取样本并将样本通过神经网络，计算神经网络的梯度；
将梯度发送给参数服务器，接收参数服务器返回的命令并执行相应的工作。


3.根据权利要求2所述一种半异步并行神经网络的计算优化方法，其特征在于，所述预测计算节点所需的时间，得到预测结果这一步骤，其具体包括：
将计算节点上一次循环的计算时长输入到预构建的速度预测器；
根据计算节点上一次循环的计算时长预测该计算节点本次计算所需的时间，得到预测结果。


4.根据权利要求3所述一种半异步并行神经网络的计算优化方法，其特征在于，所述预构建的速度预测器采用长短期记忆网络模型。


5.根据权利要求4所述一种半异步并行神经网络的计算优...

【专利技术属性】
技术研发人员：肖侬，李尹健，卢宇彤，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44