一种高精度可调整的通用激活函数实现方法技术

本发明专利技术属于现场可编程门阵列硬件加速器技术领域，公开了一种高精度可调整的通用激活函数实现方法，目的在于使用少量的存储资源和片上资源，实现高精度的激活函数逼近，并且可以根据需求设置精度，实现精度与存储空间的权衡。本发明专利技术的通用激活函数实现方法能够准确估计所提激活函数分段策略所能够达到的精度，从而实现在给定激活函数目标逼近精度的情况下对分段策略的调整，避免了精度溢出导致片上资源的浪费。与传统方法相比，本发明专利技术提供的方法可实现精度更高，可调整的空间更大，相比于其他能够实现高精度的方法消耗的硬件资源更少。他能够实现高精度的方法消耗的硬件资源更少。他能够实现高精度的方法消耗的硬件资源更少。

【技术实现步骤摘要】
一种高精度可调整的通用激活函数实现方法


[0001]本专利技术属于现场可编程门阵列(FPGA)硬件加速器
，具体是提出一种针对各类常用非线性激活函数均有效的逼近方法，在实现高精度的同时减少FPGA硬件资源的消耗，并且提供较大的可调整空间，避免精度溢出导致的资源浪费，具体为一种高精度可调整的通用激活函数实现方法。

技术介绍

[0002]非线性激活函数为神经网络提供非线性因素，是神经网络的重要组成部分。通常来说，非线性激活函数的计算十分复杂，难以在FPGA上精确实现。因此，当设计者需要在FPGA上实现非线性激活函数时，采用一定的近似方法逼近激活函数是必要的。
[0003]近年来，为了提高激活函数的逼近精度，国内外学者们开展了相应研究。面向FPGA的激活函数近似方法主要分为两类，第一类是分段逼近方法，将目标激活函数按照特定的分段方式划分为若干区域，每个区域用不同的线性化表达式进行描述，从而达到逼近原函数的目的(2022年发表于Electronics的FPGA implementation for the sigmoid with pie本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高精度可调整的通用激活函数实现方法，其特征在于，步骤如下：步骤1：假设输入数据x的位宽为n，将激活函数f(x)均匀划分为16段，使用预期误差E表示预期的激活函数精度，根据该预期误差通过计算将所有分段分为三类；步骤1.1：计算当使用16段均分的分段线性方法逼近激活函数时的逼近误差E
1avg
，16个分段中每段的平均曲率与整个激活函数的最大曲率C
max
；步骤1.2：确定需要的常数系数K1和K2，公式如下：，公式如下：步骤1.3：将每段的平均曲率按照从大到小的顺序重新排序，从平均曲率最大的分段开始计数，得到第一类分段为平均曲率最大的k个分段，k是需要满足如下不等式的最小整数：k<C
sum
K2–
16(E
1avg
–
E)K1K2其中，C
sum
表示数量为k的第一类分段的平均曲率之和；步骤1.4：估计逼近误差的裕量E2，公式如下：根据裕量E2大小，从平均曲率最小的分段开始计数，合并相邻的分段，计算合并后的误差增量为合并分段前的误差求和再乘以分段数；在满足裕量要求的情况下尽可能多地合并分段，得到需要进行合并的分段为第三类分段...

【专利技术属性】
技术研发人员：马艳华，徐琪灿，陈聪聪，宋泽睿，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：