一种用于神经网络加速器的存储介质的数据管理方法技术

本发明专利技术提供了一种用于神经网络加速器的存储介质的数据管理方法，所述存储介质包括主存，所述方法包括：获取待加速的基于神经网络的模型的结构信息和指令信息；根据所述结构信息和指令参数，在所述存储介质中划分出专用存储区域用以存储所述模型对应的指令和数据；其中，所述专用存储区域包括：指令区，用于存储加速器对模型进行加速运算所需的指令；数据堆叠区，用于存储相应层输出的将在间隔的其他层使用的中间结果数据，并在区内进行空间复用；数据暂存区，用于存储相应层输出的只在该层的下一层使用的中间结果数据，并在区内进行空间复用。用。用。

【技术实现步骤摘要】
一种用于神经网络加速器的存储介质的数据管理方法


[0001]本专利技术涉及神经网络加速器
，具体来说涉及神经网络加速器上数据管理
，更具体地说，涉及一种用于神经网络加速器的存储介质的数据管理方法。

技术介绍

[0002]近年来，深度学习技术得到了飞速发展，在图像处理上得到了充分的部署与研究，其中针对自动驾驶以及机器人领域的多种视觉任务的处理需要大量的计算、存储资源。由于终端设备的资源受限，且所含处理器为冯一诺架构的通用处理器，并行运算能力有限，导致对神经网络的处理的效率不高。特别是现在的神经网络模型的层数越来越多，深度神经网络的应用越来越广泛，对处理效率的要求越来越高。为了对神经网络进行加速，出现了神经网络加速器。原来在终端设备上执行的神经网络对应的整体或者部分任务可以卸载到神经网络加速器计算。
[0003]当前已有的神经网络加速器架构对单个终端设备的单个基于神经网络的视觉加速任务可具有较好的加速效果，以及优良的能效比。但是，一些情况下，可能会将多个终端设备连接至一个加速器上，神经网络加速器的存储介质需要加载多个任务的大量的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于神经网络加速器的存储介质的数据管理方法，所述存储介质包括主存，其特征在于，所述方法包括：获取待加速的基于神经网络的模型的结构信息和指令信息；根据所述结构信息和指令参数，在所述存储介质中划分出专用存储区域用以存储所述模型对应的指令和数据；其中，所述专用存储区域包括：指令区，用于存储加速器对模型进行加速运算所需的指令；数据堆叠区，用于存储相应层输出的将在间隔的其他层使用的中间结果数据，并在区内进行空间复用；数据暂存区，用于存储相应层输出的只在该层的下一层使用的中间结果数据，并在区内进行空间复用。2.根据权利要求1所述的方法，其特征在于，所述方法包括：根据模型的结构信息，确定各层输出的中间结果数据的大小以及各层数据依赖关系；根据各层输出的中间结果数据的大小以及各层数据依赖关系，确定模型进行加速期间的任意时刻应存储的在后续计算还需使用的中间结果数据的集合所需占用空间大小中的最大值并将其作为堆叠大小；根据所述堆叠大小设置所述数据堆叠区的空间大小。3.根据权利要求2所述的方法，其特征在于，所述方法包括：在数据堆叠区为相应层输出的中间结果数据分配堆叠子区域，其中，当相应层输出中间结果数据时优先占用空闲可用的堆叠子区域，在没有空闲可用的堆叠子区域时另外分配堆叠子区域，所述空闲可用的堆叠子区域是指其内当前存储的中间结果数据在后续计算无需使用且其空间大小足够存储将要存入的相应层输出的中间结果数据。4.根据权利要求2所述的方法，其特征在于，所述方法包括：根据各层输出的中间结果数据的大小和各层数据依赖关系，确定要存储在...

【专利技术属性】
技术研发人员：闵丰，许浩博，王郁杰，王颖，邹兴奇，韩银和，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：