【技术实现步骤摘要】
本申请涉及模型量化，尤其涉及一种大语言模型的低秩适配量化微调方法及装置。
技术介绍
1、随着大语言模型(large language model，llm)在自然语言处理领域的广泛应用，它们在语言理解和生成方面的强大能力日益受到关注。这些模型通过在大规模文本语料库上进行预训练,获得了对语言的深刻理解。然而,大语言模型的应用普及面临着巨大的计算资源障碍。这些庞大的模型包含数十亿个参数，需要大量计算资源进行微调和部署，使其难以应用到计算资源受限的设备上。
技术实现思路
1、本申请实施例的主要目的在于提出一种大语言模型的低秩适配量化微调方法及装置，以量化大语言模型，降低微调大语言模型所需的计算资源和内存占用。
2、为实现上述目的，本申请实施例的一方面提出了一种大语言模型的低秩适配量化微调方法，所述方法包括：
3、对大语言模型进行量化，得到第一量化模型；
4、向所述第一量化模型的每个线性变换层插入低秩适配矩阵，得到第二量化模型；
5、确定所述第二量化模...
【技术保护点】
1.一种大语言模型的低秩适配量化微调方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种大语言模型的低秩适配量化微调方法，其特征在于，所述对大语言模型进行量化，得到第一量化模型，包括：
3.根据权利要求2所述的一种大语言模型的低秩适配量化微调方法，其特征在于，所述确定各层所述激活值对应的量化值，包括：
4.根据权利要求1所述的一种大语言模型的低秩适配量化微调方法，其特征在于，所述向所述第一量化模型的每个线性变换层插入低秩适配矩阵，得到第二量化模型，包括：
5.根据权利要求1所述的一种大语言模型的低秩适配量化微调...
【技术特征摘要】
1.一种大语言模型的低秩适配量化微调方法，其特征在于，所述方法包括：
2.根据权利要求1所述的一种大语言模型的低秩适配量化微调方法，其特征在于，所述对大语言模型进行量化，得到第一量化模型，包括：
3.根据权利要求2所述的一种大语言模型的低秩适配量化微调方法，其特征在于，所述确定各层所述激活值对应的量化值，包括：
4.根据权利要求1所述的一种大语言模型的低秩适配量化微调方法，其特征在于，所述向所述第一量化模型的每个线性变换层插入低秩适配矩阵，得到第二量化模型，包括：
5.根据权利要求1所述的一种大语言模型的低秩适配量化微调方法，其特征在于，所述确定所述第二量化模型与所述大语言模型之间的损失值，包括：
6.根据权利要求1所述的一种大语言模型的低秩适配量...
【专利技术属性】
技术研发人员：王涛，张立家，罗良，
申请(专利权)人：广东能哥知识科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。