神经网络模型的编译方法、装置及计算机可读存储介质制造方法及图纸

本公开实施例公开了一种神经网络模型的编译方法、装置及计算机可读存储介质，其中，方法包括：获取待编译神经网络模型；基于所述待编译神经网络模型中第一归一化层采用的归一化指数函数信息，将所述第一归一化层的输入特征向量的归一化指数运算变换为基于目标特征向量的目标运算，得到第二归一化层；其中，所述目标特征向量通过所述输入特征向量经过定点化和放大获得；基于所述待编译神经网络模型中除所述第一归一化层之外的网络层，以及所述第二归一化层，通过编译处理生成目标神经网络模型。型。型。

【技术实现步骤摘要】
神经网络模型的编译方法、装置及计算机可读存储介质


[0001]本公开涉及人工智能技术，尤其是一种神经网络模型的编译方法、装置及计算机可读存储介质。

技术介绍

[0002]神经网络模型中的不同种类的层的计算方式往往不同，用于实现不同种类的层的计算的硬件也是不同的，Softmax函数(归一化指数函数)作为机器学习中最常用的函数之一，在多分类任务中有着广泛的应用，它将一个输入向量归一化为各个类别的概率分布，在网络的训练和反向从传播有着重要的作用。最近的Transformer模型在自然语言处理领域取得了极大的成功，基于Transformer模型的预训练模型成为了主流，并将参数量提升到了亿级。Softmax函数将多个标量映射为一个0
‑
1之间的数，在运算中涉及到复杂的超越函数——指数函数运算，一般来说指数函数运算需要在浮点数上进行复杂的迭代运算来得到，这会带来大量的功耗和硬件资源，同时也会拖慢整体的运行速度，这对于含有Softmax函数的网络模型部署带来了算力和功耗上的挑战。

技术实现思路

[0003]为了解决上述技术问本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型的编译方法，其特征在于，包括：获取待编译神经网络模型；基于所述待编译神经网络模型中第一归一化层采用的归一化指数函数信息，将所述第一归一化层的输入特征向量的归一化指数运算变换为基于目标特征向量的目标运算，得到第二归一化层；其中，所述目标特征向量通过所述输入特征向量经过定点化和放大获得；基于所述待编译神经网络模型中除所述第一归一化层之外的网络层，以及所述第二归一化层，通过编译处理生成目标神经网络模型。2.根据权利要求1所述的方法，其特征在于，所述基于所述待编译神经网络模型中第一归一化层采用的归一化指数函数信息，将所述第一归一化层的输入特征向量的归一化指数运算变换为基于目标特征向量的目标运算，包括：基于预设浮点数对所述输入特征向量进行定点化处理，并基于预设比例对所述定点化的输入特征向量进行放大处理，得到所述目标特征向量；通过将所述归一化指数运算转换为通过整数乘除法、整数移位和整数加法运算，实现基于目标特征向量的目标运算。3.根据权利要求2所述的方法，其特征在于，所述通过将所述归一化指数运算转换为通过整数乘除法、整数移位和整数加法运算，实现基于目标特征向量的目标运算之前，还包括：对所述归一化指数函数信息中的输入比例进行所述预设比例的缩小；对所述归一化指数函数信息中的所述预设浮点数进行定点化处理，得到预设定点数。4.根据权利要求3所述的方法，其特征在于，所述通过将所述归一化指数运算转换为通过整数乘除法、整数移位和整数加法运算，实现基于目标特征向量的目标运算，包括：基于所述目标特征向量和所述预设定点数，确定需要位移的位数向量；基于所述位数向量执行所述目标运算中的整数位移；通过所述整数乘除法和所述整数加法对所述目标特征向量、所述预设定点数和所述位数向量进行处理，得到所述第二归一化层的输出特征向量。5.根据权利要求4所述的方法，其特征在于，所述通过所述整数乘除法和所述整数加法对所述目标特征向量、所述预设定点数和所述位数向量进行处理，得到所述第二归一化层的输出特征向量，包括：基于所述目标特征向...

【专利技术属性】
技术研发人员：杨大卫，袁之航，胡幸，吴强，
申请(专利权)人：南京后摩智能科技有限公司，
类型：发明
国别省市：