【技术实现步骤摘要】
本专利技术涉及人工智能与隐私计算交叉，尤其是一种非线性激活函数优化和spu环境下自然语言模型推理提速方法。
技术介绍
1、随着大语言模型(llm)在自然语言处理、语音识别和文本生成等任务中的广泛应用，推理效率已成为模型落地部署的核心瓶颈。尤其大多数涉密场景不允许直接访问明文数据，需要利用隐私保护技术结合secure processing unit(spu)架构，导致计算量增加，另外，硬件算力都有限，传统非线性激活函数如gelu在模型推理中表现出较高的计算负担。
2、gelu函数通常定义为：
3、
4、其中涉及tanh、指数、平方根等运算，对spu安全处理单元不友好，导致运行时间长、能耗高，难以满足推理高性能与低资源开销并存的需求。
技术实现思路
1、为了克服上述现有技术中复杂的非线性激活函数影响大语言模型推理效率的缺陷，本专利技术提出了一种适用于大模型的非线性激活函数优化方法，可在保证激活效果与原生激活函数无限逼近的情况下，简化激活计算指令，从而提高模型
<本文档来自技高网...【技术保护点】
1.一种适用于大模型的非线性激活函数优化方法，其特征在于，首先观察非线性激活函数曲线，提取曲线转折点；然后基于曲线转折点对曲线进行分段，并构建各段非线性激活函数曲线的拟合函数；合并所有拟合函数作为优化后激活函数。
2.如权利要求1所述的适用于大模型的非线性激活函数优化方法，其特征在于，当非线性激活函数为GeLU函数时，将GeLU函数曲线分为三段：在区间(-∞，-2.2)上，令GeLU优化函数恒等于0；在区间[-2.2,2.2]上，令GeLU优化函数采用一元四次多项式进行拟合；在区间(2.2,∞)上，令GeLU优化函数激活前后保持不变。
3.如权...
【技术特征摘要】
1.一种适用于大模型的非线性激活函数优化方法，其特征在于，首先观察非线性激活函数曲线，提取曲线转折点；然后基于曲线转折点对曲线进行分段，并构建各段非线性激活函数曲线的拟合函数；合并所有拟合函数作为优化后激活函数。
2.如权利要求1所述的适用于大模型的非线性激活函数优化方法，其特征在于，当非线性激活函数为gelu函数时，将gelu函数曲线分为三段：在区间(-∞，-2.2)上，令gelu优化函数恒等于0；在区间[-2.2,2.2]上，令gelu优化函数采用一元四次多项式进行拟合；在区间(2.2,∞)上，令gelu优化函数激活前后保持不变。
3.如权利要求2所述的适用于大模型的非线性激活函数优化方法，其特征在于，在区间[-2.2,2.2]上，gelu优化函数由高次幂到低次幂的系数分别为：0.0、0.5、0.340909090909090884、0.0和-0.023478587528174305。
4.一种采用...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。