计算神经网络的计算装置、板卡、方法及可读存储介质制造方法及图纸

本披露涉及根据模板融合单元计算神经网络的计算装置、板卡、方法及可读存储介质，其中本披露的计算装置包括在集成电路装置中，该集成电路装置包括通用互联接口和其他处理装置。计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。集成电路装置还可以包括存储装置，存储装置分别与计算装置和其他处理装置连接，用于计算装置和其他处理装置的数据存储。储。储。

【技术实现步骤摘要】
计算神经网络的计算装置、板卡、方法及可读存储介质


[0001]本披露一般地涉及神经网络领域。更具体地，本披露涉及根据模板融 合单元计算神经网络的计算装置、板卡、方法及可读存储介质。

技术介绍

[0002]神经网络是按照一定规则连接起来的多个神经元系统，大致上是由以 下四种层结构所组成：输入层、卷积层(convolution layer)、池化层(poolinglayer)、全连接层(fully connected layer)。
[0003]输入层是自输入数据中截取部分信息，转化成特征矩阵方式呈现，其 中载有对应该部分信息的特征。卷积层配置成接收来自输入层的特征矩阵， 通过卷积操作对输入数据进行特征抽取。卷积层在实际运用时可以建制多 层卷积层。池化层配置成对数据的某一个区域用一个值代替，这值通常是 该区域所有数值里的最大值或平均值。通过池化，在不至于损失过多信息 的前提下，可以缩减模型大小、提高计算速度。全连接层在整个卷积神经 网络中起到分类器的作用，相当于特征空间变换，把前面所有有用的信息 提取整合，基于不同的分类做信息比对，借以判断输入数据是否相似于比 对的标的。
[0004]随着科技的发展，神经网络的层数越来越多，以经典的VGG架构为 例，VGG-A共有11个权重层、VGG-B有13个权重层、VGG-C有16个 权重层、VGG-D共有16个权重层、VGG-E共有19个权重层。其中，卷 积层和全连接层的泛指权重层。有些神经网络更是具有上百层结构。不仅 如此，随着层数的增加，神经网络的参数数量也呈指数级的增加，例如 AlexNet具有6000万个参数参与计算。
[0005]多层数与多参数都需要大量片上片外的输入/输出访问，这将会耗去许 多资源，同时延迟运算时间。因此一种减少输入/输出访问的机制是人工智 能领域中迫切需要的。

技术实现思路

[0006]为了至少部分地解决
技术介绍
中提到的技术问题，本披露的方案提供 了一种根据模板融合单元计算神经网络的计算装置、板卡、方法及可读存 储介质。
[0007]在一个方面中，本披露揭露一种根据模板融合单元计算神经网络的计 算装置，所述模板融合单元融合所述神经网络的多层，所述计算装置包括 多个集群，每个集群包括共享存储单元及多个处理器核。共享存储单元用 以自片外内存载入片上单元图。每个处理器核包括神经元存储单元及运算 模块，神经元存储单元用以自所述共享存储单元载入子图，所述子图为所 述片上单元图的一部分；运算模块用以计算所述子图并产生中间结果。其 中，所述中间结果在所述多个处理器核间归约，以产生对应所述片上单元 图的计算结果，所述共享存储单元将所述计算结果存回至所述片外内存。
[0008]在另一个方面，本披露揭露一种根据模板融合单元计算神经网络的集 成电路装置，包括片外内存、处理装置及计算装置。片外内存用以存储所 述神经网络的特征图；处理装置用以根据融合策略融合所述神经网络的多 层，以产生所述模板融合单元，并拆分所述
特征图成片上单元图。计算装 置包括多个集群，每个集群包括共享存储单元及多个处理器核。共享存储 单元用以自片外内存载入片上单元图。每个处理器核包括神经元存储单元 及运算模块，神经元存储单元用以自所述共享存储单元载入子图，所述子 图为所述片上单元图的一部分；运算模块用以计算所述子图并产生中间结 果。其中，所述中间结果在所述多个处理器核间归约，以产生对应所述片 上单元图的计算结果，所述共享存储单元将所述计算结果存回至所述片外 内存。
[0009]在另一个方面，本披露揭露一种板卡，包括根据前述的集成电路装置。
[0010]在另一个方面，本披露揭露一种根据模板融合单元计算神经网络的方 法，所述模板融合单元融合所述神经网络的多层，所述方法包括：载入所 述片上单元图；载入子图，所述子图为所述片上单元图的一部分；计算所 述子图并产生中间结果；归约所述中间结果，以产生对应所述片上单元图 的计算结果；以及将所述计算结果存回。
[0011]另一个方面，本披露揭露一种计算机可读存储介质，其上存储有根据 模板融合单元计算神经网络的计算机程序代码，当所述计算机程序代码由 处理装置运行时，执行前述的方法。
[0012]本披露涉及根据模板融合单元计算神经网络的方案，基于模板融合单 元进行神经网络计算，以减少输入/输出开销。
附图说明
[0013]通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以 及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制 性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同 或对应的部分，其中：
[0014]图1是示出本披露实施例的板卡的结构图；
[0015]图2是示出本披露实施例的集成电路装置的结构图；
[0016]图3是示出本披露实施例的计算装置的内部结构示意图；
[0017]图4是示出本披露实施例的处理器核的内部结构示意图；
[0018]图5是示出当一个处理器核欲将数据写入至另一个集群的处理器核时 的示意图；
[0019]图6是示出AlexNet模型的示意图；
[0020]图7是示出一种示例性地神经网络模型的示意图；
[0021]图8是示出本披露实施例的两个卷积层融合在一起的示意图；
[0022]图9是示出NCHW与NHWC的格式示意图；
[0023]图10是示出本披露实施例利用模板融合单元执行神经网络计算的流 程图；
[0024]图11是示出本披露实施例根据融合策略动态融合神经网络的流程图；
[0025]图12是示出本披露实施例利用模板融合单元执行神经网络计算的流 程图；
[0026]图13是示出具有块结构的神经网络模型的示意图；
[0027]图14是示出本披露实施例基于可执行指令计算神经网络的流程图；
[0028]图15是示出环形全归约框架图；
[0029]图16是示出处于逻辑环路中的多个集群的示意图；
[0030]图17A是示出环形全归约第一次迭代的示意图；
[0031]图17B是示出环形全归约第二次迭代的示意图；
[0032]图17C是示出环形全归约第三次迭代的示意图；
[0033]图18A是示出环形全归约每个集群都有一个处理器核执行完整的归 约计算的示意图；以及
[0034]图18B是示出环形全归约执行完整计算后的示意图。
具体实施方式
[0035]下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进 行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而 不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出 创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。
[0036]应当理解，本披露的权利要求、说明书及附图中的术语“第一”、“第 二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定 顺序。本披露本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种根据模板融合单元计算神经网络的计算装置，所述模板融合单元融合所述神经网络的多层，所述计算装置包括多个集群，每个集群包括：共享存储单元，用以自片外内存载入片上单元图；以及多个处理器核，每个处理器核包括：神经元存储单元，用以自所述共享存储单元载入子图，所述子图为所述片上单元图的一部分；以及运算模块，用以计算所述子图并产生中间结果；其中，所述中间结果在所述多个处理器核间归约，以产生对应所述片上单元图的计算结果，所述共享存储单元将所述计算结果存回至所述片外内存。2.根据权利要求1所述的计算装置，其中所述片外内存存储特征图，当所述特征图所需存储空间大于所述共享存储单元的可用空间时，所述片上单元图为所述特征图的一部分。3.根据权利要求2所述的计算装置，其中所述特征图包括N、H、W、C维度，所述片上单元图是所述特征图在所述N、H、W维度至少其中之一进行特定粒度的拆分。4.根据权利要求1所述的计算装置，其中所述片外内存存储多个特征图，当所述多个特征图所需存储空间不大于所述共享存储单元的可用空间时，所述片上单元图包括所述多个特征图。5.根据权利要求4所述的计算装置，其中所述子图为所述多个特征图其中之一。6.根据权利要求1所述的计算装置，其中所述片上单元图包括N、H、W、C维度，所述子图是所述片上单元图在所述N、H、W维度至少其中之一进行特定粒度的拆分。7.根据权利要求1所述的计算装置，其中每个集群还包括广播总线，所述多个处理器核其中之一根据所述多个处理器核的数量拆分所述片上单元图，所述广播总线传送每个处理器核的中间结果至下一个处理器核，所述处理器核将前一个处理器核的中间结果与所存储相对应的中间结果进行计算，以产生所述计算结果。8.一种根据模板融合单元计算神经网络的集成电路装置，包括：片外内存，用以存储所述神经网络的特征图；处理装置，用以根据融合策略融合所述神经网络的多层，以产生所述模板融合单元，并拆分所述特征图成片上单元图；以及计算装置，包括多个集群，每个集群包括：共享存储单元，用以载入所述片上单元图；多个处理器核，每个处理器核包括：神经元存储单元，用以自所述共享存储单元载入子图，...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：