【技术实现步骤摘要】
本专利技术涉及自然语言处理,特别是涉及一种语言模型训练方法、装置、存储介质和电子设备。
技术介绍
1、在自然语言处理领域,基于深度学习的语言模型虽能通过在大规模文本数据上的预训练来理解文本语义,生成连贯且相关的文本片段,但在生成内容的事实准确性方面仍面临巨大挑战。语言模型经常会产生看似合理但实际错误的内容。
2、因此,如何提高语言模型的生成内容的事实准确性是目前亟需解决的技术问题。
技术实现思路
1、本专利技术提供一种语言模型训练方法、装置、存储介质和电子设备,以解决目前语言模型的生成内容的事实准确性较差的问题。
2、为了解决上述问题,本专利技术采用了以下的技术方案:
3、第一方面,本专利技术实施例提供了一种语言模型训练方法,所述方法包括:
4、基于基础数据集,对初始语言模型进行训练,得到第一语言模型;
5、获取所述第一语言模型根据多个提示词输出的多个回答文本对;
6、针对任一提示词对应的回答文本对,确定所述回答文本对
...【技术保护点】
1.一种语言模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的语言模型训练方法,其特征在于,基于基础数据集,对初始语言模型进行训练,得到第一语言模型,包括:
3.根据权利要求2所述的语言模型训练方法,其特征在于,基于所述第一复数表示和所述第二复数表示,确定角度损失函数值,包括:
4.根据权利要求2所述的语言模型训练方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的语言模型训练方法,其特征在于,基于所述角度损失函数值、所述余弦损失函数值和所述批内负样本损失函数值,确定第一损失函数值,包括:
...【技术特征摘要】
1.一种语言模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的语言模型训练方法,其特征在于,基于基础数据集,对初始语言模型进行训练,得到第一语言模型,包括:
3.根据权利要求2所述的语言模型训练方法,其特征在于,基于所述第一复数表示和所述第二复数表示,确定角度损失函数值,包括:
4.根据权利要求2所述的语言模型训练方法,其特征在于,所述方法还包括:
5.根据权利要求4所述的语言模型训练方法,其特征在于,基于所述角度损失函数值、所述余弦损失函数值和所述批内负样本损失函数值,确定...
【专利技术属性】
技术研发人员:鲍思羽,赵瑞静,赵斌,赵媛,王伟印,
申请(专利权)人:天翼云科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。