软硬件加速的循环神经网络加速系统、方法及存储介质技术方案

本发明专利技术公开了一种软硬件加速的循环神经网络加速系统、方法及存储介质，向系统输入循环神经网络及加速器参数，使用张量语法树进行子任务划分，根据子任务确定硬件设计空间和软件设计空间划分；然后采用串联的多目标遗传算法和强化学习探索硬件设计空间，以进行硬件加速设计；采用强化学习算法DQN探索硬件设计空间设计，得到优化的循环神经网络的结构；最后基于FPGA综合硬件，生成系统级芯片SoC，用于运行软件加速器。与现有技术相比，本发明专利技术能够使得功能强大的神经网络在该类设备上流畅运行，节省了人力成本和时间成本，适用于各类循环神经网络RNN，具有很大的通用性。

【技术实现步骤摘要】

本专利技术涉及神经网络、深度学习、循环神经网络rnn、fpga设计、嵌入式设计等领域，特别是涉及基于遗传算法和强化学习的软硬件加速协同设计的rnn加速器设计方案。

技术介绍

1、近些年来，基于神经网络的深度学习技术在人工智能领域大放异彩。其在图形分类、目标识别、语音处理等多个应用场景下性能优异，表现出色，已经成为越来越多人关注和研究的重要技术。深度学习技术一个重要特点是运算量特别巨大且有不断增长的趋势，其中的张量运算占了很大一部分，用来执行通用逻辑运算的中央处理器(centralprocessing unit，简称cpu)已经不能应付如此庞大的任务。目前，比较常用的处理方法包括利用图形处理器(graphic processing unit，简称gpu)、专用集成电路(applicationspecific integrated circuit，简称asic)和现场可编程门阵列(field-programmablegate array，简称fpga)来进行专门的神经网络计算。在计算和存储资源都很有限的嵌入式移动平台上，gpu和asic有高成本、灵活性、可扩展本文档来自技高网...

【技术保护点】

1.一种软硬件加速的循环神经网络加速系统，针对循环神经网络及其网络变体实现对循环神经网络的FPGA加速，其特征在于，包括输入模块、软/硬件加速器划分模块、硬件加速器设计模块以及软件加速器设计模块；其中：

2.一种软硬件加速的循环神经网络加速方法，其特征在于，包括：

3.根据权利要求2所述的一种软硬件加速的循环神经网络加速方法，其特征在于，所述加速器参数至少包括加速器延迟、功耗约束参数和面积约束参数、硬件加速器类型在内的相关数据，所述子任务的乘加混合运算至少包括2D卷积、通用矩阵乘法。

4.根据权利要求2所述的一种软硬件加速的循环神经网络加速方法，其特征...

【技术特征摘要】

1.一种软硬件加速的循环神经网络加速系统，针对循环神经网络及其网络变体实现对循环神经网络的fpga加速，其特征在于，包括输入模块、软/硬件加速器划分模块、硬件加速器设计模块以及软件加速器设计模块；其中：

2.一种软硬件加速的循环神经网络加速方法，其特征在于，包括：

3.根据权利要求2所述的一种软硬件加速的循环神经网络加速方法，其特征在于，所述加速器参数至少包括加速器延迟、功耗约束参数和面积约束参数、硬件加速器类型在内的相关数据，所述子任务的乘加混合运算至少包括2d卷积、通用矩阵乘法。

4.根据权利要求2所述的一种软硬件加速的循环神经网络加速方法，其特征在于，所述硬件设计空间包括不同硬件资源的分配和组合，至少是每个计算单元的处理元件pe的数量、内存大小、dma带宽、本地内存大小、数据流模式、存储器的块数、dma支持的最大字节数、数据类型。

5.根据权利要求2所述的一种软硬件加速的循环神经网络加速方法，其特征在于，所述软件设计空间包括循环神经网络的结构调整和优化，其中，调整是将循环分割、重排序、融合这三种操作进行不同排列组合，优化是对所述调整进行修改，循环分割是将大的循环分割成多个小循环，重排序是改变循环的嵌套顺序；融合是将多个外层循环融合成一个循环，调整优化就是先通过随机生成操作及其序列，初始化候选，然后逐步修改候选以生成新的候选，不断重复直到找到优化方案。

6.根据权利要求2所述的一种软硬件加速的循环神经网络加速方法，其特征在于，...

【专利技术属性】
技术研发人员：李庆鹏，魏继增，
申请(专利权)人：天津大学，
类型：发明
国别省市：