一种多重权重显著度驱动的大模型混合精度量化的词序列预测方法技术

本发明专利技术公开了一种多重权重显著度驱动的大模型混合精度量化的词序列预测方法，获取问答数据集，将问答数据集中的文本数据转换为token ID序列；搭建一个加载了基准参数的大语言模型，对大语言模型进行量化处理得到目标函数；将token ID序列输入至目标函数，对于下一个词序列的进行预测，根据概率分布得到最优的词序列预测结果。该方法缓解传统方法因无法适应复杂权重分布而导致的性能下降问题，同时克服动态调整机制缺失引发的模型在不同数据特征和架构设计下的性能波动，最终提升大语言模型在实际部署中的推理速度与预测准确性。

【技术实现步骤摘要】

本专利技术涉及人工智能和ai问答领域，具体是一种多重权重显著度驱动的大模型混合精度量化的词序列预测方法。

技术介绍

1、基于transformer的大语言模型(llms)如opt、llama等在自然语言处理领域取得了革命性进展，尤其在词序列预测(如文本生成、机器翻译、对话系统等)任务中表现出卓越性能。这些模型通过大规模预训练学习通用语言表示，能够精准预测自然语言中的词序列，广泛应用于智能客服、智能写作、实时翻译等场景。然而，llms规模庞大，参数量通常达数十亿甚至上千亿，其高计算需求和内存占用限制了在边缘设备、移动端及资源受限环境中的部署，成为制约实际应用的关键瓶颈。

2、为应对这一问题，研究者提出了多种模型压缩技术，包括低比特量化、剪枝、知识蒸馏和低秩分解等。其中，低比特量化因其无需修改网络结构即可显著降低计算和存储需求而备受关注。特别是训练后量化(post-training quantization,ptq)，无需重新训练，可直接对预训练模型进行量化，大幅节省时间和资源，成为大模型高效部署的重要方法。

3、在量化技术中，混合精度本文档来自技高网...

【技术保护点】

1.一种多重权重显著度驱动的大模型混合精度量化的词序列预测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，所述显著度计算方法为：

3.根据权利要求1所述的方法，其特征在于，所述显著度权重划分方法为：若Si≥Thigh，则权重wi属于高显著权重；若Si≤Tlow，则权重wi属于低显著权重；若Tlow<Si<Thigh，则权重wi属于中间显著权重，其中Si表示显著度列表中按排序第i个位置的显著度值，Thigh表示高显著度权重阈值，Tlow表示低显著度权重阈值。

4.根据权利要求3所述的方法，其特征在于，所述高显著度权...

【技术特征摘要】

1.一种多重权重显著度驱动的大模型混合精度量化的词序列预测方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的方法，其特征在于，所述显著度计算方法为：

3.根据权利要求1所述的方法，其特征在于，所述显著度权重划分方法为：若si≥thigh，则权重wi属于高显著权重；若si≤tlow，则权重wi属于低显著权重；若tlow<si<thigh，则权重wi属于中间显著权重，其中si表示显著度列表中按排序第i个位置的显著度值，thigh表示高显著度权重阈值，tlow表示低显著度权重阈值。

4.根据权利要求3所述的方法，其特征在于，所述高显著度权重阈值的计算方法为：

5.根据权利要求4所述的方法，其特征在于，所述步骤2-2中，还包括通过模拟退火算法进行迭代更新优化显著度权重划分结果。

6.根据权利要求5所述的方法，其特征在于，所述步骤2-3中，对按照步骤2-2划分后的高显著度权重、中间显著度权重和低显著度权重计算每一块权重的概率密度函数，从而确定权重稀疏度分布，所述权重稀疏度分布包括非显著密集权重、非显著稀疏权重和显著权重。

7.根据权利要求6所述的方法，其特征在于，所述步骤2-3中，最优分割点的确定方法为：

8.根据权利要求7所述的方法，其特征在于，根据最优分割点对权重矩阵划分为三个掩码mask1、mask2、mask3，分别对应每一块中的非显著密集权重、非显著稀疏权重和显著权重,接着对mask1、mask2、mask3进行存储。

9.根据权利要求8所述的方法，其特征在于，所述步骤2-4中，低比特量化方法为：利用步骤2...

【专利技术属性】
技术研发人员：李尤慧子，刘骐铭，殷昱煜，梁婷婷，岳魏琦，周丽，孙茜茜，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：