【技术实现步骤摘要】
运算处理设备及其控制方法以及用于存储程序的存储介质
本文讨论的实施方式涉及运算处理设备、运算处理设备的控制方法以及用于存储程序的非暂态计算机可读存储介质。
技术介绍
近年来，在各种领域中已经使用了诸如高性能计算(HPC)、数据科学、机器学习(ML)、深度学习(DL)等的技术。这些技术难以在单个处理器中处理数据以执行大量的计算。因此，当使用这些技术时，引入了将数据划分并分配给多个处理器并且并行地执行计算以提高速度的并行计算机。并行计算机包括由处理器、存储器和通信装置形成的多个节点并且经由网络耦接多个节点以在处理器之间执行数据通信。例如，当执行DL时，在并行计算机中准备多个神经元层。在每个神经元层上重复地执行从输入数据获得输出数据的正向处理、将输出数据与正确答案进行比较以获得差的反向处理以及通过使用差来更新在每个神经元层中使用的参数的更新处理。由此，执行用于获得在每个神经元层中使用的参数的适当值的参数优化。当在例如图像识别等中用微分系数等表示时，通过后向处理获得的差有时被称为梯度信息。以这种方式，优化参数(或模型参数)以...
【技术保护点】
1.一种运算处理设备，包括：/n能够彼此通信的多个节点(N个节点)，所述多个节点中的每个节点包括存储器和处理器，所述存储器被配置成存储值和使用所述值进行的操作结果，所述处理器被配置成当N为2或大于2的自然数、n为1或大于1的自然数并且N≠2
【技术特征摘要】
20190521 JP 2019-0954671.一种运算处理设备，包括：
能够彼此通信的多个节点(N个节点)，所述多个节点中的每个节点包括存储器和处理器，所述存储器被配置成存储值和使用所述值进行的操作结果，所述处理器被配置成当N为2或大于2的自然数、n为1或大于1的自然数并且N≠2n时执行第一处理，
其中，所述第一处理被配置成：
将由第一节点保存的值除以2，所述第一节点是所述多个节点中的任意节点和按照计数顺序的最后一个节点，
通过将所述多个节点中除所述第一节点以外的剩余节点进行配对来获得一个或更多个节点对，以及
重复地计算由所述一个或更多个节点对中的每个节点对保存的值的平均值。
2.根据权利要求1所述的运算处理设备，其中，
所述第一处理被配置成：
当N＝2p+1+1并且p为满足2p-1<N<2p的自然数时，通过将由所述第一节点保存的值除以2来获得操作结果，
当所述操作结果为奇数时，执行第二处理，所述第二处理被配置成使得以先前最后一个操作结果作为第一的顺序将由所述第一节点保存的值除以2，所述第二处理还被配置成使得执行先前第一操作结果和随后的操作结果的平均操作并且此后按照先前操作结果的顺序执行两个连续操作结果的平均操作，以及
当所述操作结果为偶数时，执行第三处理，所述第三处理被配置成使得执行先前第一操作结果和随后的操作结果的平均操作并且此后按照先前操作结果的顺序执行两个连续操作结果的平均操作。
3.根据权利要求1所述的运算处理设备，其中，
当N＝2p-1并且p为满足2p-1<N<2p的自然数时，
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。