【技术实现步骤摘要】
一种可拼接、可分段的全连接神经网络推理加速器及其加速方法
本专利技术涉及人工智能算法的硬件实现领域，具体涉及一种可拼接、可分段的全连接神经网络推理加速器及其加速方法。
技术介绍
深度神经网络在视觉、语音等目标识别任务上都表现出了强大的性能，网络越深，其学习能力越强，但是这种学习能力的增强是以内存和其它计算资源的增加为代价的，全连接神经网络通常时卷积神经网络的一层，全连接层的特点是每个结点都与上一层的所有结点相连，在整个卷积神经网络中起到“分类器”的作用，由于其全相连的特性，一般全连接层的参数也是最多的，同时也需要大量的计算。在硬件资源和成本的限制下，现有的神经网络加速器并不具备并行性和分段性，导致计算性能下降、计算周期延长。
技术实现思路
专利技术目的：在有限的计算资源和存储资源的基础条件下，充分利用可多路并行性，数据可拼接性以及全连接计算可分段性，提供一种可拼接、可分段的全连接神经网络推理加速器，进一步目的是提出一种基于上述全连接神经网络推理加速器的加速方法，以解决现有技术存在的上述问题...
【技术保护点】
1.一种可拼接、可分段的全连接神经网络推理加速器，其特征在于包括如下模块：/n用于执行控制算法流程的控制模块；/n用于根据控制模块的启动信号以及主控制模块分发的配置信息将DDR中的源数据、权重、偏置搬入到SRAM中的存储模块；/n用于进行全连接计算的计算模块；/n所述控制模块通过配置模式、搬运模式、计算模式进行跳转，从而对整个全连接加速器进行控制。/n
【技术特征摘要】
1.一种可拼接、可分段的全连接神经网络推理加速器，其特征在于包括如下模块：
用于执行控制算法流程的控制模块；
用于根据控制模块的启动信号以及主控制模块分发的配置信息将DDR中的源数据、权重、偏置搬入到SRAM中的存储模块；
用于进行全连接计算的计算模块；
所述控制模块通过配置模式、搬运模式、计算模式进行跳转，从而对整个全连接加速器进行控制。
2.根据权利要求1所述的一种可拼接、可分段的全连接神经网络推理加速器，其特征在于，在配置模式下，所述控制模块控制输入神经元和权重的拼接；在搬运模式下，所述控制模块根据配置信息和数据特点对数据进行存取；在计算模式下，32个计算PE采取权重和偏置取数通路互联的方式，实现权重和偏置的共享来进行计算。
3.根据权利要求2所述的一种可拼接、可分段的全连接神经网络推理加速器，其特征在于，所述控制模块通过配置模式、搬运模式、计算模式进行跳转的过程中，当一次完整的全连接计算不出来时启动分段计算模式。
4.根据权利要求1所述的一种可拼接、可分段的全连接神经网络推理加速器，其特征在于，在配置模式下，所述控制模块进一步控制实现输入神经元的拼接，输入神经元的拼接采取神经元交替拼接的方式将两个独立地址的输入向量进行拼接成一个输入向量，同时对相应的权重进行拼接。
5.根据权利要求1所述的一种可拼接、可分段的全连接神经网络推理加速器，其特征在于，在固定的存储容量下，当输入神经元和输出神经元超过预定长度之后，在多批处理、多路并行的前提下，把中间结果存入中间结果区中，在后续计算时把中间结果取出，通过加法器在上一次的基础之上进行乘累加，完成一次完整的全连接算法的计算。
6.根据权利要求2所述的一种可拼接、可分段的全连接神经网络推理加速器，其特征在于，所述计算PE支持不大于32批全连接图像处理，同时，单个计算PE内部以32路并行进行全连接计算；所述计算模块中32个计算PE进行32路并行流水计算得到32幅图像的32个输出，乒乓操作最终得到完整的输出。
7.根据权利要求1所述的一种可拼接、可分段的全连接神经网络推理加速器，其特征在于，在搬运模式下，存储模块数据写入以及读取的数据位宽设置为256bit；在计算模式下，计算模块数据格式为16bit定点型数据，在数据长度非16的整数倍时，采取补零的方式，将单批输入神经元以及每个输入神经元的权重补成16的倍数。
8.一种可拼接、可分段的全连接神经网络推理加速器的加速方法，其特征在于包括...
【专利技术属性】
技术研发人员：李丽，张永刚，傅玉祥，黄延，宋文清，何书专，
申请(专利权)人：南京大学，
类型：发明
国别省市：江苏;32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。