神经网络加速计算的指令调度系统及方法技术方案

本发明专利技术涉及人工智能芯片领域，提供一种神经网络加速计算的指令调度系统及方法

【技术实现步骤摘要】
神经网络加速计算的指令调度系统及方法、设备


[0001]本专利技术涉及人工智能芯片
，尤其涉及一种神经网络加速计算的指令调度系统及方法
、
设备
。

技术介绍

[0002]目前的数据处理方式中，存储的数据和计算资源是分离的，可以指令为牵引，读取指令，解析指令，执行指令，存储的数据是指令执行的附属物
。
读取指令后，再解析执行，读取数据是一个串行的过程，虽然采用流水线设计，尽可能弥补串行操作的时间上的损失，但是硬件资源的利用率仍然不高
。

技术实现思路

[0003]本专利技术提供一种神经网络加速计算的指令调度系统及方法
、
设备，用以解决现有技术中硬件资源的利用率仍然不高的缺陷，实现硬件资源的利用率的提高
。
[0004]本专利技术提供一种神经网络加速计算的指令调度系统，包括调度器
、
搬移模块和多个数据操作单元；
[0005]所述调度器用于获取神经网络当前层的加速计算任务所需的目标指令的标识，并获取所述目标指令的标识对应的存储空间中所存储的所述目标指令；对所述目标指令进行解析，并基于解析结果生成数据搬移指令和数据操作指令；将所述数据操作指令的参数配置下发给所述多个数据操作单元；将所述数据搬移指令下发给所述搬移模块；
[0006]所述搬移模块用于基于所述数据搬移指令，将数据存储器中存储的第一数据块的特征图数据以
N
批搬移到缓存空间中，
N
为大于或者等于1的正整数；
[0007]所述调度器还用于每当确定一批特征图数据均搬移到所述缓存空间时，向所述数据操作单元下发执行所述数据操作指令的触发命令；
[0008]所述多个数据操作单元用于基于接收的所述数据操作指令的参数配置进行配置操作；当接收到所述触发命令时，基于所述缓存空间中的特征图数据执行所述数据操作指令，基于执行结果获得所述神经网络当前层的计算结果并以第二数据块存储至所述数据存储器
。
[0009]根据本专利技术提供的一种神经网络加速计算的指令调度系统，所述缓存空间包括第一子空间和第二子空间；所述神经网络加速计算的指令调度系统还包括所述第一子空间对应的第一配置模块以及所述第二子空间对应的第二配置模块；
[0010]所述搬移模块具体用于交替向所述第一子空间和所述第二子空间搬移特征图数据；
[0011]所述调度器具体用于交替将所述数据操作指令的参数配置下发至所述第一配置模块和所述第二配置模块；其中，当所述搬移模块向所述第一子空间搬移特征图数据时，将所述数据操作指令的参数配置下发至所述第一配置模块；当所述搬移模块向所述第二子空间搬移特征图数据时，将所述数据操作指令的参数配置下发至所述第二配置模块；
[0012]所述多个数据操作单元具体用于交替接收所述第一配置模块和所述第二配置模块的参数配置；在基于接收的所述第一配置模块的参数配置进行配置操作的情况下，当接收到所述触发命令时，基于所述第一子空间中的特征图数据执行所述数据操作指令；在基于接收的所述第二配置模块的参数配置进行配置操作的情况下，基于所述第二子空间的特征图数据执行所述数据操作指令
。
[0013]根据本专利技术提供的一种神经网络加速计算的指令调度系统，在所述第一数据块所需的存储空间的大小大于所述第一子空间和所述第二子空间的大小的情况下，采用的
N
大于
1。
[0014]根据本专利技术提供的一种神经网络加速计算的指令调度系统，所述目标指令中包括：
[0015]所述第一数据块的信息；
[0016]所述第二数据块的信息；
[0017]在所述目标指令非最后一条指令的情况下，所述目标指令中还包括所述目标指令的下一条指令的标识，所述下一条指令为所述神经网络下一层的加速计算任务所需的指令；
[0018]所述调度器具体用于将所述第一数据块的信息和所述第二数据块的信息作为参数配置下发给所述多个数据操作单元；当所述目标指令执行完毕后，获取所述下一条指令的标识对应的存储空间中所存储的所述下一条指令
。
[0019]根据本专利技术提供的一种神经网络加速计算的指令调度系统，所述搬移模块具体用于在执行完所述目标指令并获取到所述下一条指令的情况下，切换至向所述第一子空间和所述第二子空间中未被所述目标指令下最后搬移的特征图数据占用的一者搬移所述第二数据块的特征图数据
。
[0020]根据本专利技术提供的一种神经网络加速计算的指令调度系统，还包括
M
个指令寄存器，所述
M
个指令寄存器用于存储
M
个神经网络的加速计算任务的首指令的标识，
M
为大于1的正整数；
[0021]所述调度器还用于基于所述
M
个指令寄存器存储的所述
M
个神经网络的加速计算任务的首指令的标识，采用轮询的方式对所述
M
个神经网络的加速计算任务的指令进行调度
。
[0022]根据本专利技术提供的一种神经网络加速计算的指令调度系统，所述调度器还用于基于哈希表中的键值确定所述数据存储器中所述目标指令所需的所述第一数据块是否准备就绪，当准备就绪时，激活所述目标指令
。
[0023]本专利技术还提供一种基于如上述任一种所述的神经网络加速计算的指令调度系统的指令调度方法，包括：
[0024]所述调度器获取神经网络当前层的加速计算任务所需的目标指令的标识，并获取所述目标指令的标识对应的存储空间中所存储的所述目标指令；对所述目标指令进行解析，并基于解析结果生成数据搬移指令和数据操作指令；将所述数据操作指令的参数配置下发给所述多个数据操作单元；将所述数据搬移指令下发给所述搬移模块；
[0025]所述搬移模块基于所述数据搬移指令，将数据存储器中存储的第一数据块的特征图数据以
N
批搬移到缓存空间中，
N
为大于或者等于1的正整数；
[0026]所述调度器每当确定一批特征图数据均搬移到所述缓存空间时，向所述数据操作单元下发执行所述数据操作指令的触发命令；
[0027]所述多个数据操作单元基于接收的所述数据操作指令的参数配置进行配置操作；当接收到所述触发命令时，基于所述缓存空间中的特征图数据执行所述数据操作指令，基于执行结果获得所述神经网络当前层的计算结果并以第二数据块存储至所述数据存储器
。
[0028]本专利技术还提供一种神经网络加速器，包括如上述任一种所述的神经网络加速计算的指令调度系统
。
[0029]本专利技术还提供一种电子设备，包括如上述的神经网络加速器
。
[0030]本专利技术提供的神经网络加速计算的指令调度系统，在神经网络加速计算的过程中，对于神经网络当前层的加速计算任务所需的目标指令，生成数据搬移指令和数据操作指令后，数据操作单元并非直接执行数据操作指令，而是在搬移模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种神经网络加速计算的指令调度系统，其特征在于，包括调度器
、
搬移模块和多个数据操作单元；所述调度器用于获取神经网络当前层的加速计算任务所需的目标指令的标识，并获取所述目标指令的标识对应的存储空间中所存储的所述目标指令；对所述目标指令进行解析，并基于解析结果生成数据搬移指令和数据操作指令；将所述数据操作指令的参数配置下发给所述多个数据操作单元；将所述数据搬移指令下发给所述搬移模块；所述搬移模块用于基于所述数据搬移指令，将数据存储器中存储的第一数据块的特征图数据以
N
批搬移到缓存空间中，
N
为大于或者等于1的正整数；所述调度器还用于每当确定一批特征图数据均搬移到所述缓存空间时，向所述数据操作单元下发执行所述数据操作指令的触发命令；所述多个数据操作单元用于基于接收的所述数据操作指令的参数配置进行配置操作；当接收到所述触发命令时，基于所述缓存空间中的特征图数据执行所述数据操作指令，基于执行结果获得所述神经网络当前层的计算结果并以第二数据块存储至所述数据存储器
。2.
根据权利要求1所述的神经网络加速计算的指令调度系统，其特征在于，所述缓存空间包括第一子空间和第二子空间；所述神经网络加速计算的指令调度系统还包括所述第一子空间对应的第一配置模块以及所述第二子空间对应的第二配置模块；所述搬移模块具体用于交替向所述第一子空间和所述第二子空间搬移特征图数据；所述调度器具体用于交替将所述数据操作指令的参数配置下发至所述第一配置模块和所述第二配置模块；其中，当所述搬移模块向所述第一子空间搬移特征图数据时，将所述数据操作指令的参数配置下发至所述第一配置模块；当所述搬移模块向所述第二子空间搬移特征图数据时，将所述数据操作指令的参数配置下发至所述第二配置模块；所述多个数据操作单元具体用于交替接收所述第一配置模块和所述第二配置模块的参数配置；在基于接收的所述第一配置模块的参数配置进行配置操作的情况下，当接收到所述触发命令时，基于所述第一子空间中的特征图数据执行所述数据操作指令；在基于接收的所述第二配置模块的参数配置进行配置操作的情况下，基于所述第二子空间的特征图数据执行所述数据操作指令
。3.
根据权利要求2所述的神经网络加速计算的指令调度系统，其特征在于，在所述第一数据块所需的存储空间的大小大于所述第一子空间和所述第二子空间的大小的情况下，采用的
N
大于
1。4.
根据权利要求2所述的神经网络加速计算的指令调度系统，其特征在于，所述目标指令中包括：所述第一数据块的信息；所述第二数据块的信息；在所述目标指令非最后一条指令的情况下，所述目标指令中还包括所述目标指令的下一条指令的标识，所述下一条指令为所述神经网络下一层的加速计算任务所需的指令；所述调度器具...

【专利技术属性】
技术研发人员：徐健，张明，覃鸿，何金钟，李卫军，
申请(专利权)人：中国科学院半导体研究所，
类型：发明
国别省市：