可重构处理器及其上多种神经网络激活函数计算方法技术

本发明专利技术实施例提供了一种可重构处理器及其上多种神经网络激活函数计算方法，其中，该方法包括：将神经网络激活函数拆分为基础运算；根据神经网络激活函数中各基础运算的计算顺序，通过可重构处理器的可重构处理阵列从共享存储器中读取输入数据来依次实现各基础运算，可重构处理阵列中四周边缘上的处理单元可用于执行访存操作及其他运算操作，称为访存处理单元，可重构处理阵列中除了四周边缘上的处理单元之外的其他处理单元可用于执行运算操作，称为运算处理单元，四周边缘上的处理单元与所在行上的或所在列上的用于执行运算操作的处理单元进行数据传输，可重构处理阵列中每个处理单元与自身上下左右方位上存在的且相邻的处理单元进行数据传输。

【技术实现步骤摘要】
可重构处理器及其上多种神经网络激活函数计算方法
本专利技术涉及可重构处理器
，特别涉及一种可重构处理器及其上多种神经网络激活函数计算方法。
技术介绍
近年来，随着人工智能、云计算、大数据等技术的发展，人类对计算的需求越来越高，对芯片性能的需求也日益提高。然而，随着芯片尺寸的逐步缩小，摩尔定律逐渐逼近物理极限，集成电路的功率难以继续提升，因此要求芯片设计从功率性能方面的提升转移到能量效率和灵活性方面的提升。因此，能够针对某一领域进行优化设计的专用领域的芯片结构设计则成为了当今芯片设计的主流，而兼顾高性能、高能效比和高灵活性则成为今天芯片设计的重要指标。同时，随着神经网络的不断发展，网络结构和激活函数也在不断地变化，对于专门的ASIC神经网络加速器，当网络结构和激活函数变化之后，加速的效果便有所下降，甚至不再适用于新型的网络了。
技术实现思路
本专利技术实施例提供了一种可重构处理器上多种神经网络激活函数计算方法，以解决现有技术中ASIC神经网络加速器在网络结构和激活函数变化后加速效果低的技术问题。该方法包括：...

【技术保护点】
1.一种可重构处理器上多种神经网络激活函数计算方法，其特征在于，包括：/n将神经网络激活函数拆分为基础运算；/n根据神经网络激活函数中各基础运算的计算顺序，通过可重构处理器的可重构处理阵列从共享存储器中读取输入数据来依次实现各基础运算，其中，所述可重构处理阵列中四周边缘上的处理单元用于执行访存操作，称为访存处理单元，所述可重构处理阵列中除了四周边缘上的处理单元之外的其他处理单元用于执行运算操作，称为运算处理单元，四周边缘上的处理单元与所在行上的或所在列上的用于执行运算操作的处理单元进行数据传输，所述可重构处理阵列中每个处理单元与自身上下左右方位上存在的且相邻的处理单元进行数据传输。/n

【技术特征摘要】
1.一种可重构处理器上多种神经网络激活函数计算方法，其特征在于，包括：
将神经网络激活函数拆分为基础运算；
根据神经网络激活函数中各基础运算的计算顺序，通过可重构处理器的可重构处理阵列从共享存储器中读取输入数据来依次实现各基础运算，其中，所述可重构处理阵列中四周边缘上的处理单元用于执行访存操作，称为访存处理单元，所述可重构处理阵列中除了四周边缘上的处理单元之外的其他处理单元用于执行运算操作，称为运算处理单元，四周边缘上的处理单元与所在行上的或所在列上的用于执行运算操作的处理单元进行数据传输，所述可重构处理阵列中每个处理单元与自身上下左右方位上存在的且相邻的处理单元进行数据传输。


2.如权利要求1所述的可重构处理器上多种神经网络激活函数计算方法，其特征在于，所述基础运算包括：加法、减法、乘法、乘累加运算以及选择运算。


3.如权利要求1所述的可重构处理器上多种神经网络激活函数计算方法，其特征在于，
将神经网络激活函数拆分为基础运算，包括：
对于线性分段的神经网络激活函数，将该神经网络激活函数拆分为选择运算；
根据神经网络激活函数中各基础运算的计算顺序，通过可重构处理阵列来依次实现各基础运算，包括：
通过所述可重构处理阵列中的多个访存处理单元从共享存储器中读取输入数据，通过每个访存处理单元将输入数据传输给自身所在行或所在列的运算处理单元进行选择运算，通过运算处理单元将选择运算的计算结果传输给自身所在行或所在列的访存处理单元，进而将计算结果存入共享存储器，其中，读取输入数据的访存处理单元与存储计算结果的访存处理单元为不同的访存处理单元，不同运算处理单元输出的计算结果传输给不同的访存处理单元。


4.如权利要求1所述的可重构处理器上多种神经网络激活函数计算方法，其特征在于，
将神经网络激活函数拆分为基础运算，包括：
对于对称且可通过分段泰勒展开拟合的神经网络激活函数，根据对称将该神经网络激活函数拆分为第一对称部分和第二对称部分，将第一对称部分的输入数据划分为多个数据段，将每个数据段的运算依次拆分为减法、选择运算以及乘累加运算，将各个数据段的乘累加运算结果进行加法运算，将累加结果与第一对称部分的输出最大值比较并进行选择运算得到第一对称部分的输出数据，用第一对称部分的输出最大值减去第一对称部分的输出数据并进行选择运算得到第二对称部分的输出数据；
根据神经网络激活函数中各基础运算的计算顺序，通过可重构处理阵列来依次实现各基础运算，包括：
通过所述可重构处理阵列中的一个访存处理单元从共享存储器中依次各数据段中的一个数值，通过多个运算处理单元分别将读取的数值与划分数据段的端点数值做减法，通过多个运算处理单元组成第一级选择器，第一级选择器中的每个运算处理单元对应一个数据段，第一级选择器中的每个运算处理单元基于减法结果在读取的数值和对应数据段的最大值中输出最小值；通过多个运算处理单元组成第二级选择器，第二级选择器中的每个运算处理单元对应前一个数据段，第二级选择器中的第一个运算处理单元输出第一级选择器中第一个运算处理单元的输出，第二级选择器中的其他运算处理单元在第一级选择器中对应运算处理单元的输出和前一个数据段的最大值中输出最大值，通过运算处理单元分别对第二级选择器中的运算处理单元的输出做乘累加运算，通过运算处理单元对各乘累加运算的结果进行加法运算，通过运算处理单元对加法运算的结果减第一对称部分的输出最大值并进行选择运算，得到第一对称部分的输出数据，通过运算处理单元用第一对称部分的输出最大值减去第一对称部分的输出数据并进行选择运算，得到第二对称部分的输出数据。


5.如权利要求1至4中任一项所述的可重构处理器上多种神经网络激活函数计算方法，其特征在于，
将神经网络激活函数拆分为基础运算，包括：
...

【专利技术属性】
技术研发人员：尹首一，邓大峥，谷江源，韩慧明，刘雷波，魏少军，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11