一种计算数据的方法、装置、板卡及计算机可读存储介质制造方法及图纸

本公开涉及计算数据的方法、装置、板卡及计算机可读存储介质，其中本公开的计算装置包括在集成电路装置中，所述集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。集成电路装置还可以包括存储装置，存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据存储。

【技术实现步骤摘要】
一种计算数据的方法、装置、板卡及计算机可读存储介质
本公开一般地涉及神经网络领域。更具体地，本公开涉及计算数据的方法、装置、板卡及计算机可读存储介质。
技术介绍
由于人工智能领域的高速发展，所需处理的计算量也随之增加，现今神经网络训练需要仰赖大量的计算资源才能应付。而受到计算资源的内存限制，实务上需要结合多卡进行数据并行以完成大批量的训练工作，因此许多人就如何在多卡环境中高效协同运行提出解决方案，例如：2015年SergeyIoffe等人提出批归约化的论文“BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift“、2016年JimmyLeiBa等人提出层归约化的论文“LayerNormalization”等。随着硬件技术的发展，现代处理器也都采用多核并行的框架，神经网络的计算装置内部同样具有数据并行的特点，因此高效的数据归约解决方案是迫切需要的。
技术实现思路
为了至少部分地解决
技术介绍
中提到的技术问题，本公本文档来自技高网...

【技术保护点】
1.一种在计算装置内计算数据的方法，所述计算装置包括N个集群，所述方法包括：/n分散所述数据至所述N个集群；/n归约所述数据至每个集群，以产生归约后信息；以及/n发送所述归约后信息。/n

【技术特征摘要】
1.一种在计算装置内计算数据的方法，所述计算装置包括N个集群，所述方法包括：
分散所述数据至所述N个集群；
归约所述数据至每个集群，以产生归约后信息；以及
发送所述归约后信息。


2.根据权利要求1所述的方法，其中所述分散程序包括：
均分所述数据为N个数据块；以及
分配所述N个数据块至每个集群，每个集群分别存储一个数据块。


3.根据权利要求2所述的方法，其中所述归约程序包括：
均分所述数据块为N个数据子块；
传送每个集群的一个数据子块至下一个集群；
将接收到前一个集群的数据子块与所存储相对应的数据子块进行计算；
存储所述计算结果；
重复N-1次所述传送、计算及存储步骤；以及
指定所述第N-1次所存储的所述计算结果为所述归约后信息。


4.根据权利要求3所述的方法，其中相邻的集群通过第一通信链路及第二通信链路链接，所述传送步骤包括：
将所述数据子块分为第一数据子块及第二数据子块；
通过所述第一通信链路传送所述第一数据子块；以及
通过所述第二通信链路传送所述第二数据子块。


5.根据权利要求1-4所述的方法，其中所述计算装置与片外存储单元连接，所述归约后信息被发送至所述片外存储单元。


6.根据权利要求5所述的方法，其中所述片外存储单元为双倍速率同步动态随机存储器。


7.根据权利要求3或4所述的方法，其中所述些集群为参数服务器的服务器节点，所述参数服务器还包括多个工作节点，分别连接至所述服务器节点，所述方法还包括：
分配任务给每些工作节点；以及
基于所述数据子块执行所述任务，以产生所述归约后信息。


8.根据权利要求1-4任一项所述的方法，其中所述些集群为参数服务器的工作节点，所述参数服务器还包括服务器节点，连接至所述些工作节点，所述方法还包括在所述分散程序前，指派任务给所述工作节点。


9.根据权利要求8所述的方法，其中所述归约后信息被发送至所述服务器节点。


10.一种计算机可读存储介质，其上存储有在计算装置内计算数据的计算机程序代码，当所述计算机程序代码由处理器运行时，执行权利要求1-9的任意一项所述的方法。


11.一种处理数据的计算装置，包括：
存储单元核，用以分散所述数据；以及
N个集群，每个集群包括至少一个...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：北京;11