算术处理设备、算术处理方法和存储介质技术

本发明专利技术公开了算术处理设备、算术处理方法和非暂态计算机可读存储介质。算术处理设备包括：算术单元；以及一个或更多个处理器，所述一个或更多个处理器被配置成：通过将多个进程分配给算术单元来由算术单元并行地执行对深度神经网络的训练；在针对深度神经网络的多个变量中的各个变量的多个进程之间，对通过多个进程中的每一个进程进行的训练而获得的并且被分别使用用于更新多个变量的多个变量更新信息进行聚合；以及基于作为在多个进程之间所聚合的变量更新信息的第一变量更新信息和作为在聚合期间的变量更新信息的第二变量更新信息，确定由少于多个进程的进程的数量的一定数量的进程进行的训练是否是优越的。量的进程进行的训练是否是优越的。量的进程进行的训练是否是优越的。

【技术实现步骤摘要】
算术处理设备、算术处理方法和存储介质


[0001]本文讨论的实施方式涉及算术处理设备、算术处理方法以及存储算术处理程序的非暂态计算机可读存储介质。

技术介绍

[0002]在深度学习中，已知多个进程(计算节点)使用训练数据的不同部分来并行执行深度神经网络的训练的方法。当通过多个进程并行执行深度神经网络的训练时，在后向处理与更新处理之间执行聚合处理诸如Allreduce，聚合处理在多个进程之间聚合变量(神经网络的权重的梯度信息)。
[0003]日本公开特许公报第2020
‑
068016号、日本公开特许公报第2020
‑
046713号以及日本公开特许公报第2019
‑
109875号被公开作为相关技术。

技术实现思路

[0004][技术问题][0005]在深度神经网络的训练中，重复执行训练，直到图像等的识别准确度变得等于或高于预定准确度。随着执行训练的进程的数量(例如，并行进程的数量)增加，可以缩短直到识别准确度变得等于或高于预定准确度的训练时间。然而，即使当执行训练的进程的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种算术处理设备，包括：一个或更多个存储器；算术单元；以及一个或更多个处理器，其耦接至所述一个或更多个存储器和所述算术单元，被配置成：通过将多个进程分配给算术单元来由所述算术单元并行地执行对深度神经网络的训练，在针对所述深度神经网络的多个变量中的各个变量的所述多个进程之间，对通过所述多个进程中的每一个进程进行的训练而获得的并且被分别使用用于更新所述多个变量的多个变量更新信息进行聚合，以及基于作为在所述多个进程之间所聚合的变量更新信息的第一变量更新信息和作为在所述聚合期间的变量更新信息的第二变量更新信息，确定由少于所述多个进程的进程的数量的一定数量的进程进行的训练是否是优越的。2.根据权利要求1所述的算术处理设备，其中，所述一个或更多个处理器还被配置成：在所述多个进程中的每一个进程中，基于与所述多个变量之一相对应的所述第一变量更新信息和与所述多个变量之一相对应的所述第二变量更新信息，确定针对每个变量的训练是否是优越的，以及基于针对每个变量的训练是否是优越的的结果来确定所述训练是否是优越的。3.根据权利要求2所述的算术处理设备，其中，所述一个或更多个处理器还被配置成：将保存所述结果作为逻辑值的标志分配给所述多个进程，以及对所述逻辑值执行逻辑运算。4.根据权利要求3所述的算术处理设备，其中，所述一个或更多个处理器还被配置成：当所述结果中的一个结果是优越的时，将逻辑值1分配给所述标志中的一个标志，当该一个结果不是优越的时，将逻辑值0分配给该一个标志，以及当所述标志的最小值是逻辑值1时，确定所述训练是优越的。5.根据权利要求3所述的算术处理设备，其中，所述一个或更多个处理器还被配置成：当所述结果中的一个结果是优越的时，将逻辑值0分配给所述标志中的一个标志，当该一个结果不是优越的时，将逻辑值1分配给该一个标志，以及当所述标志的最大值是逻辑值0时，确定所述训练是优越的。6.根据权利要求1所述的算术处理设备，其中，所述一个或更多个处理器还被配置成：通过使用所述多个进程来执行不包括训练是否是优越的的确定的训练一定次数，以及当不包括所述确定的训练的识别准确度是优越的时，执行不包括是否是优越的的确定的后续训练。7.一种用于计算机执行处理的算术处理方法，所述处理包括：通过将多个进程分配给算术单元来由所述算术单元并行地执行对深度神经网络的训练；在针对所述深度神经网络的多个变量中的各个变量的所述多个进程之间，对通过所述多个...

【专利技术属性】
技术研发人员：三轮真弘，
申请(专利权)人：富士通株式会社，
类型：发明
国别省市：