代码处理模型的训练方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种代码处理模型的训练方法、装置、电子设备、计算机程序产品及计算机可读存储介质；方法包括：获取通用语料训练集、领域语料训练集以及指令数据集合；基于通用语料训练集预训练代码处理模型，得到预训练后的代码处理模型；基于通用语料训练集中的至少部分样本和领域语料训练集，调用预训练后的代码处理模型进行领域训练处理，得到特定领域的代码处理模型；基于指令数据集合调用特定领域的代码处理模型进行训练，得到训练完成的代码处理模型，其中，训练完成的代码处理模型用于基于输入的问题指令生成作为回答内容的代码。通过本申请，能够提升代码处理模型生成特定领域代码的准确性。码的准确性。码的准确性。

【技术实现步骤摘要】
代码处理模型的训练方法、装置、电子设备及存储介质


[0001]本申请涉及计算机技术，尤其涉及一种代码处理模型的训练方法、装置、设备及计算机可读存储介质。

技术介绍

[0002]自然语言处理（Nature Language processing, NLP）是计算机科学领域与人工智能领域中的重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理涉及自然语言，即人们日常使用的语言，与语言学研究密切；同时涉及计算机科学和数学、人工智能领域模型训练的重要技术。预训练模型，即是从NLP领域的大语言模型（Large Language Model，LLM）发展而来。经过微调，大语言模型可以广泛应用于下游任务。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
[0003]相关技术中，通过大语言模型进行代码生成处理，在应用阶段，面对新任务或编程语言时，泛化能力较弱，在训练阶段，强化学习方法通常需要大量的计算资源和训练时间。相关技术中，暂无较好的方案提升代码处理模型生成特定领域代码的准确性。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种代码处理模型的训练方法，其特征在于，所述方法包括：获取通用语料训练集、领域语料训练集以及指令数据集合；基于所述通用语料训练集预训练所述代码处理模型，得到预训练后的所述代码处理模型，其中，预训练后的所述代码处理模型用于基于待处理文本生成代码；基于所述通用语料训练集中的至少部分样本和所述领域语料训练集，调用预训练后的所述代码处理模型进行领域训练处理，得到特定领域的代码处理模型，其中，特定领域的所述代码处理模型用于基于待处理的领域文本生成目标领域的代码；基于所述指令数据集合调用特定领域的所述代码处理模型进行训练，得到训练完成的代码处理模型，其中，训练完成的所述代码处理模型用于基于输入的问题指令生成作为回答内容的代码。2.根据权利要求1所述的方法，其特征在于，所述通用语料训练集包括：样本文本以及样本代码；所述代码处理模型包括：编码器、深度学习模型、解码器；所述基于所述通用语料训练集预训练所述代码处理模型，得到预训练后的所述代码处理模型，包括：基于所述样本文本，调用所述代码处理模型的编码器进行编码处理，得到文本序列；基于所述文本序列调用所述代码处理模型的深度学习模型进行概率预测处理，得到所述文本序列对应的预测概率最高的字符序列；基于所述字符序列调用所述代码处理模型的解码器进行解码处理，得到预测代码；基于所述预测代码与所述样本代码分别对应的预测概率，确定所述代码处理模型的第一交叉熵损失；基于所述第一交叉熵损失更新所述代码处理模型的参数，得到预训练后的所述代码处理模型。3.根据权利要求1所述的方法，其特征在于，所述领域语料训练集包括：样本领域文本以及样本领域代码；所述代码处理模型包括：编码器、深度学习模型和解码器；所述基于所述通用语料训练集中的至少部分样本和所述领域语料训练集，调用预训练后的所述代码处理模型进行领域训练处理，得到特定领域的代码处理模型，包括：将所述通用语料训练集中的至少部分样本添加到所述领域语料训练集中，得到更新后的所述领域语料训练集；基于更新后的所述领域语料训练集中的样本领域文本，调用预训练后的所述代码处理模型的编码器进行编码处理，得到文本序列；基于所述文本序列调用所述代码处理模型的深度学习模型进行概率预测处理，得到所述文本序列对应的预测概率最高的字符序列；基于所述字符序列调用预训练后的所述代码处理模型的解码器进行解码处理，得到预测代码；基于所述预测代码与所述样本领域代码分别对应的预测概率，确定所述代码处理模型的第二交叉熵损失；基于所述第二交叉熵损失增量更新所述代码处理模型的参数，基于更新后的所述参数确定特定领域的代码处理模型。4.根据权利要求1所述的方法，其特征在于，所述指令数据集合包括：样本指令以及样
本回答；所述代码处理模型包括：编码器、深度学习模型和解码器；所述基于所述指令数据集合调用特定领域的所述代码处理模型进行训练，得到训练完成的代码处理模型，包括：基于所述样本指令，调用特定领域的所述代码处理模型的编码器进行编码处理，得到文本序列；基于所述文本序列调用所述代码处理模型的深度学习模型进行概率预测处理，得到所述文本序列对应的预测概率最高的字符序列；基于所述字符序列调用预训练后的所述代码处理模型的解码器进行解码处理，得到回答内容，其中，所述回答内容包括预测代码；基于所述回答内容与所述样本回答分别对应的预测概率，确定所述代码处理模型的第三交叉熵损失；基于所述第三交叉熵损失增量更新所述特定领域的代码处理模型的参数，基于更新后的所述参数确定训练完成的代码处理模型。5.根据权利要求4所述的方法，其特征在于，所述代码处理模型包括分类模型；在所述基于所述样本指令，调用特定领域的所述代码处理模型的编码器进行编码处理，得到文本序列之前，所述方法还包括：基于所述样本指令，调用所述特定领域的所述代码处理模型的分类模型进行预测处理，得到所述样本指令属于所述特定领域的概率；响应于所述样本指令属于所述特定领域的概率大于概率阈值，转入所述基于所述样本指令，调用特定领域的所述代码处理模型的编码器进行编码处理的步骤。6.根据权利要求2至4任一项所述的方法，其特征在于，所述深度学习模型包括：注意力机制层、前馈神经网络层以及位置编码层；所述基于所述文本序列调用所述代码处理模型的深度学习模型进行概率预测处理，得到所述文本序列对应的预测概率最高的字符序列，包括：基于所述文本序列，调用所述注意力机制层确定所述文本序列对应的权重矩阵；基于所述权重矩阵和所述文本序列，调用所述位置编码层进行位置编码处理，得到位置编码序列；基于所述位置编码序列，调用所述前馈神经网络层多次预测词表中的每个字符的出现概率；将每次所述预测得到的出现概率最高的字符组合为字符序列。7.根据权利要求...

【专利技术属性】
技术研发人员：龙思怡，周吕，蒙春年，刘鹏，王刚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：