一种具有高灵活性与精度的非线性运算电路结构制造技术

本发明专利技术属于集成电路设计技术领域，具体为一种具有高灵活性与精度的非线性运算电路结构。本发明专利技术电路结构包括五部分：粗粒度的查找表X、细粒度的查找表Y、两个用于提升查找表精度的插值器、输出选择器以及一些基本运算单元。该电路使用一个粗粒度的查找表来保证该电路支持很大的输入范围，并使用一个细粒度的查找表来覆盖整个输入范围的某一部分，从而保证能在非线性函数坡度显著变化的区域取得令人满意的精度。本发明专利技术可提高硬件单元使用率，从而提高电路的工作效率；同时，可编程的查找表使得该电路具有很高的灵活性，可以实现神经网络中几乎所有的非线性激活函数，插值器的使用进一步提升了查找表的精度以及动态范围。

A Nonlinear Operating Circuit Structure with High Flexibility and Accuracy

The invention belongs to the technical field of integrated circuit design, in particular to a non-linear operational circuit structure with high flexibility and accuracy. The circuit structure of the invention comprises five parts: coarse-grained lookup table X, fine-grained lookup table Y, two interpolators for improving the precision of the lookup table, output selectors and some basic operation units. The circuit uses a coarse-grained look-up table to ensure that the circuit supports a large input range, and a fine-grained look-up table to cover a part of the entire input range, thus ensuring satisfactory accuracy in areas where the slope of the non-linear function changes significantly. The invention can improve the usage rate of hardware unit and the working efficiency of the circuit. At the same time, the programmable look-up table makes the circuit highly flexible, and can realize almost all the non-linear activation functions in the neural network. The use of interpolators further improves the precision and dynamic range of the look-up table.

【技术实现步骤摘要】
一种具有高灵活性与精度的非线性运算电路结构
本专利技术属于集成电路设计
，具体涉及一种具有高灵活性与精度的非线性运算电路结构。
技术介绍
上世纪60年代，Hubel等人通过对猫视觉皮层细胞的研究，提出了感受野这个概念，到80年代，Fukushima在感受野概念的基础之上提出了神经认知机的概念，可以看作是卷积神经网络的第一个实现网络，神经认知机将一个视觉模式分解成许多子模式（特征），然后进入分层递阶式相连的特征平面进行处理，它试图将视觉系统模型化，使其能够在即使物体有位移或轻微变形的时候，也能完成识别。卷积神经网络是多层感知机的变种。由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来。视觉皮层的细胞存在一个复杂的构造。这些细胞对视觉输入空间的子区域非常敏感，我们称之为感受野，以这种方式平铺覆盖到整个视野区域。这些细胞可以分为两种基本类型，简单细胞和复杂细胞。简单细胞最大程度响应来自感受野范围内的边缘刺激模式。复杂细胞有更大的接受域，它对来自确切位置的刺激具有局部不变性。卷积神经网络结构包括：卷积层，池化层，全连接层。每一层有多个特征图，每个特征图通过一种卷积滤波器提取输入本文档来自技高网...

【技术保护点】
1.一种具有高灵活性与精度的非线性运算电路结构，针对神经网络的激活函数的运算加速，其特征在于，包括：粗粒度的查找表X、细粒度的查找表Y、两个用于提升查找表精度的插值器、输出选择器，以及一些基本运算单元；粗粒度的查找表X和一个插值器，细粒度的查找表Y和另一两个插值器，分别构成上下对称的两个数据通道，其中：所述粗粒度的查找表X拥有M个入口，覆盖非线性激活函数的大部分输入范围；所述细粒度查找表Y又有N个入口，它仅覆盖非线性激活函数整个输入范围的一小部分‑‑覆盖非线性函数坡度显著变化的区域；所述插值器，采用线性插值的逻辑；插值器包括：两个加法器或一个加法器和一个减法器，两个乘法器；所述基本运算单元，根...

【技术特征摘要】
1.一种具有高灵活性与精度的非线性运算电路结构，针对神经网络的激活函数的运算加速，其特征在于，包括：粗粒度的查找表X、细粒度的查找表Y、两个用于提升查找表精度的插值器、输出选择器，以及一些基本运算单元；粗粒度的查找表X和一个插值器，细粒度的查找表Y和另一两个插值器，分别构成上下对称的两个数据通道，其中：所述粗粒度的查找表X拥有M个入口，覆盖非线性激活函数的大部分输入范围；所述细粒度查找表Y又有N个入口，它仅覆盖非线性激活函数整个输入范围的一小部分--覆盖非线性函数坡度显著变化的区域；所述插值器，采用线性插值的逻辑；插值器包括：两个加法器或一个加法器和一个减法器，两个乘法器；所述基本运算单元，根据实际输入数据，计算出查找表的索引以及插值器所需的插值系数α；所述输出选择器，用于选择使用粗粒度的查找表还是细粒度的查找表：当输入数据位于细粒度查找表所覆盖的范围时，选择细粒度查找表插值后的结果作为电路的输出；反之，使用粗粒度查找表插值后的结果作为电路的输出。2.根据权利要求1所述的非线性运算电路结构，其特征在于，其运算流程为：输入数据x进入两个对称的数据通路：粗粒度查找表X对应的上通路与细粒度查找表Y对应的下通路；粗粒度查找表的覆盖范围即覆盖非线性激活函数的大部分输入范围，记为min_X至max_X，一共有M个入口，每个入口输入数据的步进step_X=(max_X-min_X)/(M-1)；输入数据x0先经过一个减法器与一个乘法器，乘法器的输出等于(x0-min_X)/step_X,它的整数部分就是查找表X的入口索引，记作index(x0)=floor((x0-min_X)/step_X)，其中，flo...

【专利技术属性】
技术研发人员：韩军，蔡宇杰，曾晓洋，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海,31