一种半异步并行神经网络的计算优化方法及系统技术方案

本发明专利技术公开了一种半异步并行神经网络的计算优化方法及系统，该方法包括：初始化参数；将相关参数发送给空闲的计算节点；预测计算节点计算所需的时间；将计算节点分类；等待任一节点计算完毕后根据计算节点的类别发送对应命令；本次循环计算结束后进行参数更新；返回计算节点计算步骤直至更新后的神经网络的准确度达到预设值。该系统包括：参数服务器和计算节点。本发明专利技术克服了某些节点计算速度过慢导致整体速度过慢的问题。本发明专利技术作为一种半异步并行神经网络的计算优化方法及系统，可广泛应用于网络优化领域。

【技术实现步骤摘要】
一种半异步并行神经网络的计算优化方法及系统
本专利技术属于网络优化领域，尤其涉及一种半异步并行神经网络的计算优化方法及系统。
技术介绍
同步随机梯度下降方法中，服务器需要服务器需要等待所有的计算节点的梯度都计算完后才能进行参数的更新。在计算节点的数量规模较大时，由于各种环境噪音的存在，很容易就出现某些节点计算速度显著慢于其它节点的情况；或者由于计算的网络链接拓扑的不对称，就会使得某些节点与服务器通信所需的时间显著长于其它节点。在这种情况出现时，整体计算过程就会被最慢的节点所拖慢。特别地，如果计算节点之间本身就是异构的，某些节点计算速度本身就比较缓慢，那么整体的计算速度也会变得极为缓慢，降低了网络的训练速度。
技术实现思路
为了解决上述技术问题，本专利技术的目的是提供一种半异步并行神经网络的计算优化方法及系统，克服了某些节点计算速度过慢导致整体速度过慢的问题。本专利技术所采用的第一技术方案是：一种半异步并行神经网络的计算优化方法，包括以下步骤：S1、初始化计算节点的相关参数和神经网络的相关参数；S2、将本文档来自技高网...

【技术保护点】
1.一种半异步并行神经网络的计算优化方法，其特征在于，包括参数服务器的工作步骤：/nS1、初始化计算节点的相关参数和神经网络的相关参数；/nS2、将神经网络的相关参数发送给空闲的计算节点并命令计算节点执行计算；/nS3、基于速度预测器预测计算节点所需的计算时间，得到预测结果；/nS4、根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果；/nS5、等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作；/nS6、根据预设规则判断本次循环计算结束并对神经网络和速度预测器进行参数更新，得到更新后的神经网络；/nS7、返回步骤S2直至更新后的神经网络的准确度达到预设值。/n

【技术特征摘要】
1.一种半异步并行神经网络的计算优化方法，其特征在于，包括参数服务器的工作步骤：
S1、初始化计算节点的相关参数和神经网络的相关参数；
S2、将神经网络的相关参数发送给空闲的计算节点并命令计算节点执行计算；
S3、基于速度预测器预测计算节点所需的计算时间，得到预测结果；
S4、根据预测结果和节点状态估计本次循环计算用时并将计算节点分类，得到分类结果；
S5、等待计算节点完成计算并根据分类结果命令计算节点执行对应的工作；
S6、根据预设规则判断本次循环计算结束并对神经网络和速度预测器进行参数更新，得到更新后的神经网络；
S7、返回步骤S2直至更新后的神经网络的准确度达到预设值。


2.根据权利要求1所述一种半异步并行神经网络的计算优化方法，其特征在于，还包括计算节点的工作步骤：
接收来自参数服务器发送的神经网络的相关参数；
获取样本并将样本通过神经网络，计算神经网络的梯度；
将梯度发送给参数服务器，接收参数服务器返回的命令并执行相应的工作。


3.根据权利要求2所述一种半异步并行神经网络的计算优化方法，其特征在于，所述预测计算节点所需的时间，得到预测结果这一步骤，其具体包括：
将计算节点上一次循环的计算时长输入到预构建的速度预测器；
根据计算节点上一次循环的计算时长预测该计算节点本次计算所需的时间，得到预测结果。


4.根据权利要求3所述一种半异步并行神经网络的计算优化方法，其特征在于，所述预构建的速度预测器采用长短期记忆网络模型。


5.根据权利要求4所述一种半异步并行神经网络的计算优...

【专利技术属性】
技术研发人员：肖侬，李尹健，卢宇彤，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44