一种参数化可扩展的神经网络全连接层多层互连结构制造技术

本发明专利技术公开一种参数化可扩展的神经网络全连接层多层互连结构，包括若干层全连接层，每层全连接层例化了若干基本单元；一个基本单元连接一个路由器，同一全连接层中的基本单元经过路由器相连，形成全连接环；全连接环的路由器上下相连形成一种参数化可扩展的神经网络全连接层多层互连结构，支持双向的数据传递(前向推理，反向学习)。本发明专利技术采用可配置的全连接基本单元作为全连接层硬件实现的基础，用户可以根据实际使用的神经网络的需求通过设置参数控制生成多个基本单元并互连的方式完成其网络中全连接层的设计实现和并行加速；本发明专利技术的设计考虑了数据流水线，缩短了系统运行时钟周期，灵活配置全连接层的结构和规模，便于系统的快速部署实现。

A parametric and scalable neural network full interconnection layer multi layer interconnection structure

The invention discloses a parametric neural network can be extended to connect all the multilayer interconnection structure comprises a plurality of layers of the connection layer, each layer of the connecting layer of some basic unit; a basic unit is connected to a router, with a fully connected basic unit layer in the router connected to form a connection the connecting ring ring; router connected to form a fully connected multilayer interconnection structure layer parameters of neural network can be extended, supports bi-directional data transfer (forward reasoning, backward learning). The invention adopts configurable connection as basic unit of fully connected layer hardware implementation, the user can according to the actual demand of the neural network used by setting the parameters to control the generation of a plurality of basic cells and interconnects the way to complete the implementation and design of the company by layer parallel accelerating its network; the design of the invention considers data line the operation of the system, shorten the cycle, flexible structure and scale allocation of fully connected layer, rapid deployment of the system to achieve.

【技术实现步骤摘要】
一种参数化可扩展的神经网络全连接层多层互连结构
本专利技术属于人工神经网络
，特别涉及一种参数化可扩展的神经网络全连接层多层互连结构。
技术介绍
全连接层在神经网络算法中是必不可少的一部分，其构造一般是多层互连，每一层的输出作为下一层的输入。全连接层是神经网络中计算量最大，参数最多的部分，在整个算法中具有决定性的作用。随着神经网络的应用越来越广泛，需求不断增加，神经网络的深度逐步加深，全连接层的层数也会相应增加。目前比较流行神经神经网络算法中都用到了全连接层，而这些网络对全连接层的层数和每层输入输出的节点数目的配置都各有不同，以下列举一些目前常用的卷积神经网络算法结构中全连接层网络的结构：1)主要用于手写数字体识别的经典网络LeNet-5中采用了三层卷积层和两层全连接层，全连接层共有214个神经元节点，包含一万多个参数；2)在主要用于ImageNet数据库识别分类的经典结构AlexNet网络中采用了五层卷积层和三层全连接层，第一层全连接层有4096个神经元节点，第二层有4096个神经元节点，第三层有1000个神经元节点，共包含约两千万个参数；3)在2014年出现的另一种同样识别本文档来自技高网...

【技术保护点】
一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，包括若干层全连接层，每层全连接层例化了若干个基本单元；一个基本单元连接一个路由器，同一全连接层中的基本单元经过路由器相连，形成全连接环；全连接环的路由器上下相连形成一种参数化可扩展的神经网络全连接层多层互连结构。

【技术特征摘要】
1.一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，包括若干层全连接层，每层全连接层例化了若干个基本单元；一个基本单元连接一个路由器，同一全连接层中的基本单元经过路由器相连，形成全连接环；全连接环的路由器上下相连形成一种参数化可扩展的神经网络全连接层多层互连结构。2.根据权利要求1所述的一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，基本单元包括存储模块、地址计数器模块和若干基本列模块；若干基本列模块并列设置，每个基本列模块的输入端均连接基本单元的数据输入端和存储模块的输出端，每个基本列模块的输出端均连接基本单元的数据输出端；地址计数器模块的输入端连接一个基本列模块，地址计数器模块的输出端连接存储模块；地址计数器模块用于采集基本列模块的计算次数；存储模块包括权重SRAM和偏置SRAM；基本列模块用于根据存储模块输入的权重和偏置对接收的输入数据与权重进行相乘，然后与偏置相加获得输出数据进行输出。3.根据权利要求1所述的一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，每层全连接层中的每个基本单元都从上一层接收数据，正向数据由卷积层和池化层输出到全连接的第一层F1；该层实例化了k1个基本模块，第一层F1中每个基本模块都从池化层接收数据，在F1层计算后传入下一层全连接F2，F2层根据输出的参数例化k2个基本模块互连构成，数据在F2层计算完成后又传入F3，F3层包含k3个基本模块，一直传到最后一层全连接层Fn层，Fn层包含kn个基本模块；其中，ki代表第i层的基本模块个数，计算后传入最后的分类输出层。4.根据权利要求1所述的一种参数化可扩展的神经网络全连接层多层互连结构，其特征在于，全连接层各个基本单元接收到数据后在本层内进行计算和传输的具体过程：在第一个时钟周期，第i+1层全连接层各个基本单元先对自己接收到的数据进行计算；在第二个时钟周期的时候这些数据同时以同一个方向移动到下游的基本单元；第二个时钟周期每个基本单元接收到的数据为自己前一个基本单元上一个时钟周期接收到的数据；第三个时钟周期每个基...

【专利技术属性】
技术研发人员：任鹏举，白宇雲，丁晓彤，朱梦娇，魏亚东，樊珑，秦琴，刘龙军，郑南宁，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：陕西,61