【技术实现步骤摘要】
本申请涉及模型量化，尤其涉及一种大语言模型的量化方法、电子设备、芯片系统及存储介质。
技术介绍
1、大语言模型是基于海量文本数据训练的深度学习模型，大语言模型不仅能够生成自然语言文本，还能够深入理解文本含义，处理各种自然语言任务，如文本摘要、问答、翻译等。大语言模型数据量非常大，因此，需要对大语言模型进行模型量化，即将大语言模型中的浮点数据映射为定点数据，从而降低参数量、提升计算速度等。
2、目前，在大语言模型已经训练完成后，可以通过训练后量化的方法进行量化，然而，这种量化方式与量化前浮点权重的最大值和最小值相关，若量化前权重中存在异常离群点，则可能导致量化后的权重偏差较大，使得量化后的模型精度下降。
技术实现思路
1、本申请提供一种大语言模型的量化方法、电子设备、芯片系统及存储介质，可以提高量化后的模型精度。
2、为达到上述目的，本申请第一方面采用如下技术方案：
3、本申请第一方面提供一种大语言模型的量化方法，包括：
4、基于设置的缩放系数...
【技术保护点】
1.一种大语言模型的量化方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述通过所述差异损失函数更新所述缩放系数，并通过最新更新的缩放系数更新差异损失函数，直到所述差异损失函数收敛，包括：
3.如权利要求1所述的方法，其特征在于，基于设置的缩放系数，得到量化权重后的大语言模型，包括：
4.如权利要求3所述的方法，其特征在于，所述第b个block的第i个权重的初始缩放刻度为：
5.如权利要求1所述的方法，其特征在于，所述差异损失函数为量化权重后的大语言模型的输出和未量化权重的大语言模型的输出之间的均方误差
<...【技术特征摘要】
1.一种大语言模型的量化方法，其特征在于，包括：
2.如权利要求1所述的方法，其特征在于，所述通过所述差异损失函数更新所述缩放系数，并通过最新更新的缩放系数更新差异损失函数，直到所述差异损失函数收敛，包括：
3.如权利要求1所述的方法，其特征在于，基于设置的缩放系数，得到量化权重后的大语言模型，包括：
4.如权利要求3所述的方法，其特征在于，所述第b个block的第i个权重的初始缩放刻度为：
5.如权利要求1所述的方法，其特征在于，所述差异损失函数为量化权重后的大语言模型的输出和未量化权重的大语言模型的输出之间的均方误差损失函数。
6.如权利要求1至5任一项所述的方法，其特征在于，所述基于设置的缩放系数，得到量化权重后的大语言模型，包括：
7.如权利要求6所述的方法，其特征在于，基于设置的分组尺寸和设置的缩放系数，得到每...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。