一种集成电路中激活函数运算方法、装置及电路制造方法及图纸

本发明专利技术提供了一种集成电路中激活函数运算方法、装置及电路，涉及集成电路领域，通过该方法，在获取激活函数输入数据后，将激活函数输入数据调整至符合激活函数预设输入范围；并根据对激活函数输入数据的调整，对激活函数参数中的激活函数系数进行调整；再根据调整后的激活函数系数，对符合激活函数预设输入范围的激活函数输入数据进行激活函数运算。由于将激活函数输入数据调整到了符合激活函数预设输入范围，并适应性调整了激活函数系数，使得运算结果仍然对应调整前的激活函数输入数据，通过该方法，可以使得激活函数能够进行较大范围的运算，同时其逻辑简单，激活函数运算成本和功耗较低。

An operation method, device and circuit of activation function in integrated circuit

【技术实现步骤摘要】
一种集成电路中激活函数运算方法、装置及电路
本专利技术属于集成电路领域，具体涉及一种集成电路中激活函数运算方法、装置及电路。
技术介绍
在VLSI(VeryLargeScaleIntegration，超大规模集成电路)上实现CNN(ConvolutionalNeuralNetwork，卷积神经网络)，必然要实现激活函数层。然而受到ASIC设计规则的相关约束，算法模型必须利用RTL(RegisterTransferLevel，寄存器传输级(数字电路抽象描述))实现，其中会遇到输出数据饱和，运算定点化，支持的运算模式单一，以及动态范围不足等问题。激活函数层必须要解决运算定点化问题，并且有尽可能好的动态范围，适应不同种类的激活函数。通常情况下，目前使用浮点运算单元进行激活函数运算，精度高，动态范围大。但是，使用浮点运算单元进行激活函数运算，逻辑多且时序差，占用很大的ASIC面积，成本和功耗很高。为降低成本和功耗，以及减少占用的ASIC(ApplicationSpecificIntegratedCircuit，专用集成电路)面积，也可以使用专门的电路实现特定的激活函数，精度高，逻辑少，时序好，占用ASIC面积少，成本和功耗低。但是其动态范围小，可以进行的激活函数运算必须是限定的几种，应用受到制约。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种集成电路中激活函数运算方法、装置及电路，以实现以较低的成本和功耗进行较多种类激活函数的运算。依据本专利技术的第一方面，提供了一种集成电路中激活函数运算方法，包括：获取激活函数输入数据，并将所述激活函数输入数据调整至符合激活函数预设输入范围；根据对所述激活函数输入数据的调整，对输入的激活函数参数中的激活函数系数进行调整；根据调整后的激活函数系数，对符合所述激活函数预设输入范围的激活函数输入数据进行激活函数运算。进一步，所述获取激活函数输入数据，并将所述激活函数输入数据调整至符合激活函数预设输入范围，具体包括：获取激活函数输入数据，并确定所述激活函数输入数据的统计结果；根据所述激活函数输入数据的统计结果，将所述激活函数输入数据调整至符合激活函数预设输入范围。更进一步，所述激活函数输入数据的统计结果，具体包括：激活函数输入数据的直方图分布规律；和/或激活函数输入数据的极值。更进一步，所述根据所述激活函数输入数据的统计结果，将所述激活函数输入数据调整至符合激活函数预设输入范围，具体包括：根据所述激活函数输入数据的统计结果，通过偏置调整和/或系数调整，将所述激活函数输入数据调整至符合激活函数预设输入范围。进一步，所述根据对所述激活函数输入数据的调整，对输入的激活函数参数中的激活函数系数进行调整，具体包括：根据对所述激活函数输入数据的调整，确定针对输入的激活函数参数中的激活函数系数的调整系数；根据所述激活函数系数的调整系数，对所述激活函数系数进行调整。进一步，所述激活函数为N段分段函数，N为整数且N≥1；所述根据调整后的激活函数系数，对符合所述激活函数预设输入范围的激活函数输入数据进行激活函数运算，具体包括：根据所述激活函数参数中的激活函数分段信息以及调整后的激活函数系数，选通各分段范围内的激活函数输入数据进行对应分段的激活函数运算。进一步，所述激活函数运算具体包括：线性运算；或者三次条样曲线运算；或者二次函数运算。第二方面，本专利技术实施例还提供一种集成电路中激活函数运算装置，包括：第一调整单元，用于获取激活函数输入数据，并将所述激活函数输入数据调整至符合激活函数预设输入范围；第二调整单元，用于根据对所述激活函数输入数据的调整，对输入的激活函数参数中的激活函数系数进行调整；运算单元，用于根据调整后的激活函数系数，对符合所述激活函数预设输入范围的激活函数输入数据进行激活函数运算。第三方面，本专利技术实施例还提供一种集成电路中激活函数运算电路，包括：激活函数数据加载器，用于获取激活函数输入数据；激活函数前量化单元，连接所述激活函数数据加载器，用于将所述激活函数输入数据调整至符合激活函数预设输入范围，并根据对所述激活函数输入数据的调整，确定激活函数系数的调整系数；激活函数运算单元，连接所述激活函数前量化单元，用于根据所述激活函数系数的调整系数，调整所输入的激活函数参数中的激活函数系数，并对符合所述激活函数预设输入范围的激活函数输入数据进行激活函数运算。进一步，还包括：统计单元，连接所述激活函数数据加载器和所述激活函数前量化单元，用于确定所述激活函数输入数据的统计结果；所述激活函数前量化单元根据所述激活函数输入数据的统计结果，将所述激活函数输入数据调整至符合激活函数预设输入范围。更进一步，所述统计单元具体包括：直方图统计模块和/或极限值统计模块。进一步，还包括：激活函数参数加载器，连接所述激活函数运算单元，用于加载激活函数参数并输出至所述激活函数运算单元。进一步，所述激活函数运算单元，具体包括：激活函数分段选通器，用于根据所述激活函数参数对所述激活函数输入数据进行分段选通；激活函数运算子单元，用于基于所述激活函数分段选通器的输入，根据所述激活函数系数的调整系数，调整激活函数参数中的激活函数系数，并对符合所述激活函数预设输入范围的激活函数输入数据分段进行激活函数运算。进一步，还包括：激活函数后量化单元，连接所述激活函数运算单元，用于对激活函数运算结果进行量化；激活函数运算结果输出单元，连接所述激活函数后量化单元，用于将量化后的激活函数运算结果输出至存储器。本专利技术实施例提供一种集成电路中激活函数运算方法、装置及电路，在获取激活函数输入数据后，将激活函数输入数据调整至符合激活函数预设输入范围；并根据对激活函数输入数据的调整，对激活函数参数中的激活函数系数进行调整；再根据调整后的激活函数系数，对符合激活函数预设输入范围的激活函数输入数据进行激活函数运算。由于将激活函数输入数据调整到了符合激活函数预设输入范围，并适应性调整了激活函数系数，使得运算结果仍然对应调整前的激活函数输入数据，通过该方法，可以使得激活函数能够进行较大范围的运算，同时其逻辑简单，激活函数运算成本和功耗较低。应当理解，上述说明仅是本专利技术技术方案的概述，以便能够更清楚地了解本专利技术的技术手段，从而可依照说明书的内容予以实施。为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举说明本专利技术的具体实施方式。附图说明通过阅读下文的示例性实施例的详细描述，本领域普通技术人员将明白本文所述的有点和益处以及其他优点和益处。附图仅用于示出示例性实施例的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的标号表示相同的部件。在附图中：图1为本专利技术实施例提本文档来自技高网...

【技术保护点】
1.一种集成电路中激活函数运算方法，其特征在于，包括：/n获取激活函数输入数据，并将所述激活函数输入数据调整至符合激活函数预设输入范围；/n根据对所述激活函数输入数据的调整，对输入的激活函数参数中的激活函数系数进行调整；/n根据调整后的激活函数系数，对符合所述激活函数预设输入范围的激活函数输入数据进行激活函数的运算。/n

【技术特征摘要】
1.一种集成电路中激活函数运算方法，其特征在于，包括：
获取激活函数输入数据，并将所述激活函数输入数据调整至符合激活函数预设输入范围；
根据对所述激活函数输入数据的调整，对输入的激活函数参数中的激活函数系数进行调整；
根据调整后的激活函数系数，对符合所述激活函数预设输入范围的激活函数输入数据进行激活函数的运算。


2.如权利要求1所述的方法，其特征在于，所述获取激活函数输入数据，并将所述激活函数输入数据调整至符合激活函数预设输入范围，具体包括：
获取激活函数输入数据，并确定所述激活函数输入数据的统计结果；
根据所述激活函数输入数据的统计结果，将所述激活函数输入数据调整至符合激活函数预设输入范围。


3.如权利要求2所述的方法，其特征在于，所述激活函数输入数据的统计结果包括：
激活函数输入数据的直方图分布规律；和/或
激活函数输入数据的极值。


4.如权利要求2所述的方法，其特征在于，所述根据所述激活函数输入数据的统计结果，将所述激活函数输入数据调整至符合激活函数预设输入范围，包括：
根据所述激活函数输入数据的统计结果，通过偏置调整和/或系数调整，将所述激活函数输入数据调整至符合激活函数预设输入范围。


5.如权利要求1所述的方法，其特征在于，所述根据对所述激活函数输入数据的调整，对输入的激活函数参数中的激活函数系数进行调整，包括：
根据对所述激活函数输入数据的调整，确定针对输入的激活函数参数中的激活函数系数的调整系数；
根据所述激活函数系数的调整系数，对所述激活函数系数进行调整。


6.如权利要求1所述的方法，其特征在于，所述激活函数为N段分段函数，N为整数且N≥1；
所述根据调整后的激活函数系数，对符合所述激活函数预设输入范围的激活函数输入数据进行激活函数的运算，包括：
根据所述激活函数参数中的激活函数分段信息以及调整后的激活函数系数，选通各分段范围内的激活函数输入数据进行对应分段的激活函数运算。


7.如权利要求1所述的方法，其特征在于，所述激活函数运算包括：
线性运算；或者
三次条样曲线运算；或者
二次函数运算。


8.一种集成电路中激活函数运算装置，其特征在于，包括：
第一调整单元，用于获取激活...

【专利技术属性】
技术研发人员：黄锐，谢忆纯，陈元，宋成伟，叶振昀，张楠赓，
申请(专利权)人：北京嘉楠捷思信息技术有限公司，
类型：发明
国别省市：北京;11