模型运算方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种模型运算方法、装置、电子设备和存储介质，所述方法包括：对待运算模型的当前层的第一精度的权重矩阵进行精度截断，得到第二精度的权重矩阵，第一精度高于第二精度；基于第一精度的权重矩阵与第二精度的权重矩阵，确定权重矩阵残差；基于权重矩阵残差以及上一层的运算结果，确定当前层的残差输出结果；基于上一层的运算结果，以及当前层的残差输出结果，确定当前层的运算结果。本发明专利技术提供的模型运算方法、装置、电子设备和存储介质，不仅可以避免增加不必要的计算量以及数据搬运，而且可以基于权重矩阵残差弥补第二精度的权重矩阵由于下溢所造成的精度损失。

【技术实现步骤摘要】

本专利技术涉及模型运算，尤其涉及一种模型运算方法、装置、电子设备和存储介质。

技术介绍

1、目前开源的大语言模型的权重通常使用半精度浮点数(half precision,fp16)精度格式保存，因此需要硬件对fp16矩阵乘法进行支持。对于没有fp16精度支持的硬件，目前多通过将精度提升至单精度浮点数(single precision,fp32)后进行计算或精度截断成16位浮点数(brain floating point,bf16)后进行计算。其中，硬件所支持的低精度浮点数格式不限于bf16，还可以包括其它低精度浮点数格式。

2、然而，将精度提升至fp32会额外增加不必要的计算量以及数据搬运，将精度截断成bf16会造成下溢而产生很大的精度损失，并且该精度损失会随着迭代而不断增加。

技术实现思路

1、本专利技术提供一种模型运算方法、装置、电子设备和存储介质，用以解决现有技术中模型运算时会增加计算量以及数据搬运或造成精度损失的缺陷。

2、本专利技术提供一种模型运算方法，包括：

3本文档来自技高网...

【技术保护点】

1.一种模型运算方法，其特征在于，包括：

2.根据权利要求1所述的模型运算方法，其特征在于，所述基于所述权重矩阵残差以及上一层的运算结果，确定所述当前层的残差输出结果，包括：

3.根据权利要求2所述的模型运算方法，其特征在于，所述量化所述权重矩阵残差，包括：

4.根据权利要求3所述的模型运算方法，其特征在于，所述基于量化后的权重矩阵残差以及所述上一层的运算结果，确定所述当前层的残差输出结果，包括：

5.根据权利要求1至4任一项所述的模型运算方法，其特征在于，所述基于所述第一精度的权重矩阵与所述第二精度的权重矩阵，确定权重矩阵残差，包括：...

【技术特征摘要】

1.一种模型运算方法，其特征在于，包括：

2.根据权利要求1所述的模型运算方法，其特征在于，所述基于所述权重矩阵残差以及上一层的运算结果，确定所述当前层的残差输出结果，包括：

3.根据权利要求2所述的模型运算方法，其特征在于，所述量化所述权重矩阵残差，包括：

4.根据权利要求3所述的模型运算方法，其特征在于，所述基于量化后的权重矩阵残差以及所述上一层的运算结果，确定所述当前层的残差输出结果，包括：

5.根据权利要求1至4任一项所述的模型运算方法，其特征在于，所述基于所述第一精度的权重矩阵与所述第二精度的权重矩阵，确定权重矩阵残差，包括：

6.根据权利要求1至4任一项所述的模型运算方法，其特征...

【专利技术属性】
技术研发人员：请求不公布姓名，请求不公布姓名，请求不公布姓名，
申请(专利权)人：上海壁仞科技股份有限公司，
类型：发明
国别省市：