一种用于神经网络处理器的激活装置及方法制造方法及图纸

本发明专利技术提供一种用于神经网络处理器的激活装置及处理器。所述激活装置，包括：存储有自变量值与一种激活函数类型的函数值之间的对应关系的查找表单元、激活控制单元、查找预处理单元、查找后处理单元，其中，所述激活控制单元，用于根据当前选择的激活函数类型，产生针对查找表预处理单元、查找后处理单元的控制信号；所述查找预处理单元，用于根据所述控制信号以及待激活的神经元值x，得到待查值；所述查找表单元，用于从其存储的自变量与其激活函数值之间的对应关系中找到与所述待查值匹配的函数值，以作为查找值；所述查找后处理单元，用于根据所述控制信号以及所述查找值，得到对所述待激活的神经元值x的激活结果。

An Activating Device and Method for Neural Network Processor

【技术实现步骤摘要】
一种用于神经网络处理器的激活装置及方法
本专利技术涉及神经网络处理器领域，尤其涉及对神经网络处理器中激活单元的硬件加速。
技术介绍
深度神经网络是人工智能领域具有最高发展水平的感知模型之一，该类网络通过建立模型模拟人类大脑的神经连接结构，通过多个变换阶段分层对数据特征进行描述，为图像、视频和音频等大规模数据处理任务带来了突破性进展。该模型结构是一种运算模型，由大量节点通过网状互连结构构成，这些节点被称为神经元。每两个节点间连接强度都代表通过该连接信号在两个节点间的加权值，被称为权重，与人类神经网络中的记忆相对应。神经网络处理器是用于实现神经神经网络运算的专用硬件，其硬件被设计为与神经网络的计算流程相匹配，包括：卷积、激活、池化等。其中，神经元的激活操作是神经网络计算所必须的，由于最常用的激活函数均为复杂的非线性函数，若是期望通过硬件计算装置实现则需要设计非常复杂的计算电路，因而绝大多数现有的神经网络处理器均采用查找表的方式来实现激活操作。而为了使得设计的处理器硬件能够兼容各种激活函数类型，在神经网络处理器中往往针对每一种激活函数分别设置与之匹配的查找表，这使得为了存储和实现查找匹配需本文档来自技高网...

【技术保护点】
1.一种用于神经网络处理器的激活装置，包括：存储有自变量值与一种激活函数类型的函数值之间的对应关系的查找表单元、激活控制单元、查找预处理单元、查找后处理单元，其中，所述激活控制单元，用于根据当前选择的激活函数类型，产生针对查找表预处理单元、查找后处理单元的控制信号；所述查找预处理单元，用于根据所述控制信号以及待激活的神经元值x，得到待查值；所述查找表单元，用于从其存储的自变量与其激活函数值之间的对应关系中找到与所述待查值匹配的函数值，以作为查找值；所述查找后处理单元，用于根据所述控制信号以及所述查找值，得到对所述待激活的神经元值x的激活结果。

【技术特征摘要】
1.一种用于神经网络处理器的激活装置，包括：存储有自变量值与一种激活函数类型的函数值之间的对应关系的查找表单元、激活控制单元、查找预处理单元、查找后处理单元，其中，所述激活控制单元，用于根据当前选择的激活函数类型，产生针对查找表预处理单元、查找后处理单元的控制信号；所述查找预处理单元，用于根据所述控制信号以及待激活的神经元值x，得到待查值；所述查找表单元，用于从其存储的自变量与其激活函数值之间的对应关系中找到与所述待查值匹配的函数值，以作为查找值；所述查找后处理单元，用于根据所述控制信号以及所述查找值，得到对所述待激活的神经元值x的激活结果。2.根据权利要求1所述的激活装置，其中所述激活控制单元，用于根据所述查找表单元所针对的激活函数类型、以及当前选择的激活函数类型之间的组合来产生所述控制信号。3.根据权利要求1所述的激活装置，其中，所述查找表单元存储的自变量值的最小值≥所述激活函数的对称点的自变量取值，或者所述自变量值的最大值＜所述激活函数的对称点的自变量取值。4.根据权利要求1-3中任意一项所述的激活装置，其中，所述激活控制单元，用于在所述查找表单元针对的激活函数类型为tanh函数且当前选择的激活函数类型为sigmoid函数时，产生第一控制信号；所述查找预处理单元，用于在收到所述第一控制信号时，对待激活的神经元值x的绝对值进行除以2的处理以得到所述待查值；所述查找后处理单元，用于在收到所述第一控制信号时，对所述查找值或其相反数进行加1再除以2的计算。5.根据权利要求4所述的激活装置，其中，所述激活控制单元，用于在所述查找表单元存储的自变量值的最小值≥所述激活函数的对称点的自变量取值且待激活的神经元值x＜所述激活函数的对称点的自变量取值时，或者在所述查找表单元存储的自变量值的最大值＜所述激活函数的对称点的自变量取值且待激活的神经元值x＞所述激活函数的对称点的自变量取值时，产生第三控制信号；否则，产生第四控制信号；所述查找后处理单元，用于在收到所述第三控制信号时，对所述查找值取相反数后进行加1再除以2的处理以得到所述激活结果；在收到所述第四控制信号时，将对所述查找值进行相应计算的计算结果作为所述激活结果。6.根据权利要求1-3中任意一项所述的激活装置，其中，所述激活控制单元，用于在所述查找表单元针对的激活函数类型为sigmoid函数且当前选择的激活函数类型为tanh函数时，产生第二控制信号；所述查找预处理单元，用于在收到所述第二控制信号时，对待激活的神经元值x的绝对值进行乘以2的处理以得到所述待查值；所述查找后处理单元，用于在收到所述第二控制信号时，对所述查找值或其相反数进行乘2再减1的计算。7.根据权利要求6所述的激活装置，其中，所述激活控制单元，用于在所述查找表单元存储的自变量值的最小值≥所述激活函数的对称点的自变量取值且待激活的神经元值x＜所述激活函数的对称点的自变量取值时，或者在所述查找表单元存储的自变量值的最大值＜所述激活函数的对称点的自变...

【专利技术属性】
技术研发人员：韩银和，闵丰，许浩博，王颖，王郁杰，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11