问答模型的训练方法及装置制造方法及图纸

技术编号:29313647 阅读:19 留言:0更新日期:2021-07-17 02:30
本申请提供问答模型的训练方法及装置,其中所述问答模型的训练方法包括:构建样本语料对应的初始文本意群,并基于所述初始文本意群生成所述样本语料对应的场景定向词表空间;获取训练样本,并确定所述训练样本对应的样本词组;基于所述样本词组查询所述场景定向词表空间,根据查询结果确定所述训练样本对应的目标文本意群;利用所述目标文本意群和所述训练样本对初始问答模型进行训练,直至获得满足训练停止条件的目标问答模型。停止条件的目标问答模型。停止条件的目标问答模型。

【技术实现步骤摘要】
问答模型的训练方法及装置


[0001]本申请涉及人工智能
,特别涉及一种问答模型的训练方法及装置。

技术介绍

[0002]随着人工智能产业的发展,问答模型在实际应用中所占的比例也逐渐增高,用户对问答模型的回复准确性和回复效率的要求也越来越高。现有技术中,问答模型一般通过理解用户发出的问题,并根据用户的问题生成针对性的答案进行回复。但是目前的问答模型对用户的回复内容准确性不高,回复速度也有待提升。因此,如何解决上述问题,为问答模型提升回复的准确性和回复速度,成为了本领域技术人员亟需解决的问题。

技术实现思路

[0003]有鉴于此,本申请实施例提供了一种问答模型的训练方法,以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种问答模型的训练装置,一种文本处理方法,一种文本处理装置,一种计算设备,以及一种计算机可读存储介质。
[0004]根据本申请实施例的第一方面,提供了一种问答模型的训练方法,包括:构建样本语料对应的初始文本意群,并基于所述初始文本意群生成所述样本语料对应的场景定向词表空间;获取训练样本,并确定所述训练样本对应的样本词组;基于所述样本词组查询所述场景定向词表空间,根据查询结果确定所述训练样本对应的目标文本意群;利用所述目标文本意群和所述训练样本对初始问答模型进行训练,直至获得满足训练停止条件的目标问答模型。
[0005]可选地,所述基于所述初始文本意群生成所述样本语料对应的场景定向词表空间,包括:为所述样本语料添加语境标签,以及提取所述初始文本意群中的初始词组;建立所述语境标签与所述初始文本意群的对应关系,并根据所述对应关系和初始词组构建所述样本语料对应的所述场景定向词表空间。
[0006]可选地,所述为所述样本语料添加语境标签,包括:提取所述样本语料的多个初始特征,并对所述多个初始特征进行预处理获得多个目标特征;计算各个目标特征与所述样本语料的语境相似度,根据语境相似度计算结果选择至少一个目标特征作为所述语境标签,并添加至所述样本语料。
[0007]可选地,所述基于所述样本词组查询所述场景定向词表空间,根据查询结果确定所述训练样本对应的目标文本意群,包括:将所述样本词组映射到所述场景定向词表空间,计算所述样本词组与所述语境标签的词组相似度;
根据词组相似度计算结果确定目标语境标签,并将所述目标语境标签对应的初始文本意群作为所述目标文本意群。
[0008]可选地,所述确定所述训练样本对应的样本词组,包括:对所述训练样本进行解析,获得所述训练样本中的样本问题文本;提取所述样本问题文本中的第一词单元和第二词单元,基于所述第一词单元和所述第二词单元构建所述样本词组。
[0009]可选地,所述利用所述目标文本意群和所述训练样本对初始问答模型进行训练,直至获得满足训练停止条件的目标问答模型,包括:将所述目标文本意群和所述训练样本中的所述样本问题文本输入至所述初始问答模型进行处理,获得预测答案文本;基于所述预测答案文本和所述训练样本中的样本答案文本对所述初始问答模型进行优化,直至获得满足训练停止条件的所述目标问答模型。
[0010]可选地,所述将所述目标文本意群和所述训练样本中的所述样本问题文本输入至所述初始问答模型进行处理,获得预测答案文本,包括:基于所述样本问题文本生成词单元向量以及场景标签向量,以及基于所述目标文本意群生成意群向量;对所述词单元向量和所述场景标签向量进行整合,获得所述样本问题文本对应的样本问题向量;将所述样本问题向量和所述意群向量输入至所述初始问答模型进行处理,获得所述预测答案文本。
[0011]可选地,所述将所述样本问题向量和所述意群向量输入至所述初始问答模型进行处理,获得所述预测答案文本,包括:将所述样本问题向量和所述意群向量输入至所述初始问答模型,通过所述初始问答模型中的融合模块对所述样本问题向量和所述意群向量进行处理,获得融合向量;将所述融合向量输入至所述初始问答模型中的识别模块进行处理,获得关联实体中心词和上下文场景分布;通过所述初始问答模型中的输出层对所述关联实体中心词和所述上下文场景分布进行处理,获得所述预测答案文本。
[0012]根据本申请实施例的第二方面,提供了一种问答模型的训练装置,包括:构建模块,被配置为构建样本语料对应的初始文本意群,并基于所述初始文本意群生成所述样本语料对应的场景定向词表空间;获取模块,被配置为获取训练样本,并确定所述训练样本对应的样本词组;确定模块,被配置为基于所述样本词组查询所述场景定向词表空间,根据查询结果确定所述训练样本对应的目标文本意群;训练模块,被配置为利用所述目标文本意群和所述训练样本对初始问答模型进行训练,直至获得满足训练停止条件的目标问答模型。
[0013]根据本申请实施例的第三方面,提供了一种文本处理方法,包括:获取用户上传的问题文本;将所述问题文本输入至所述问答模型训练方法中的目标问答模型进行处理,获得
答案文本;基于所述答案文本对回复界面进行更新,并向所述用户展示更新后的所述回复界面。
[0014]根据本申请实施例的第四方面,提供了一种文本处理装置,包括:获取文本模块,被配置为获取用户上传的问题文本;文本处理模块,被配置为将所述问题文本输入至所述问答模型训练方法中的目标问答模型进行处理,获得答案文本;界面展示模块,被配置为基于所述答案文本对回复界面进行更新,并向所述用户展示更新后的所述回复界面。
[0015]根据本申请实施例的第五方面,提供了一种计算设备,包括:存储器和处理器;所述存储器用于存储计算机可执行指令,所述处理器执行所述计算机可执行指令时实现所述问答模型的训练方法或文本处理方法的步骤。
[0016]根据本申请实施例的第六方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现所述问答模型的训练方法或文本处理方法的步骤。
[0017]本申请提供的问答模型的训练方法,通过构建样本语料对应的初始文本意群后,将基于初始文本意群生成样本语料对应的场景定向词表空间,此时为模型训练准备了充足的语料;之后获取训练样本,并确定训练样本对应的样本词组,利用样本词组查询场景定向词表空间,以根据查询结果确定训练样本对应的目标文本意群,最后根据目标文本意群和训练样本对初始问答模型进行训练,直至满足训练停止条件,即可获得目标问答模型;实现了从语义层面捕捉问题和语料间的关联,有效的保证了训练后的问答模型的预测精准度,并且在准备阶段利用丰富的样本语料构建场景定向词表空间,有效的提高了问答模型的处理能力,从而实现精准高效的完成问答处理任务。
附图说明
[0018]图1是本申请一实施例提供的一种问答模型的训练方法的流程图;图2是本申请一实施例提供的一种问答模型的训练方法中问答模型的结构示意图;图3是本申请一实施例提供的一种问答模型的训练装置的结构示意图;图4是本申请一实施例提供的一种文本处理方法的流程图;图5是本申请一实施例提供的一种应用于古诗词问答场景中的处理流程图;图6是本申请一实施例提本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种问答模型的训练方法,其特征在于,包括:构建样本语料对应的初始文本意群,并基于所述初始文本意群生成所述样本语料对应的场景定向词表空间;获取训练样本,并确定所述训练样本对应的样本词组;基于所述样本词组查询所述场景定向词表空间,根据查询结果确定所述训练样本对应的目标文本意群;利用所述目标文本意群和所述训练样本对初始问答模型进行训练,直至获得满足训练停止条件的目标问答模型。2.根据权利要求1所述的问答模型的训练方法,其特征在于,所述基于所述初始文本意群生成所述样本语料对应的场景定向词表空间,包括:为所述样本语料添加语境标签,以及提取所述初始文本意群中的初始词组;建立所述语境标签与所述初始文本意群的对应关系,并根据所述对应关系和初始词组构建所述样本语料对应的所述场景定向词表空间。3.根据权利要求2所述的问答模型的训练方法,其特征在于,所述为所述样本语料添加语境标签,包括:提取所述样本语料的多个初始特征,并对所述多个初始特征进行预处理获得多个目标特征;计算各个目标特征与所述样本语料的语境相似度,根据语境相似度计算结果选择至少一个目标特征作为所述语境标签,并添加至所述样本语料。4.根据权利要求3所述的问答模型的训练方法,其特征在于,所述基于所述样本词组查询所述场景定向词表空间,根据查询结果确定所述训练样本对应的目标文本意群,包括:将所述样本词组映射到所述场景定向词表空间,计算所述样本词组与所述语境标签的词组相似度;根据词组相似度计算结果确定目标语境标签,并将所述目标语境标签对应的初始文本意群作为所述目标文本意群。5.根据权利要求1所述的问答模型的训练方法,其特征在于,所述确定所述训练样本对应的样本词组,包括:对所述训练样本进行解析,获得所述训练样本中的样本问题文本;提取所述样本问题文本中的第一词单元和第二词单元,基于所述第一词单元和所述第二词单元构建所述样本词组。6.根据权利要求5所述的问答模型的训练方法,其特征在于,所述利用所述目标文本意群和所述训练样本对初始问答模型进行训练,直至获得满足训练停止条件的目标问答模型,包括:将所述目标文本意群和所述训练样本中的所述样本问题文本输入至所述初始问答模型进行处理,获得预测答案文本;基于所述预测答案文本和所述训练样本中的样本答案文本对所述初始问答模型进行优化,直至获得满足训练停止条件的所述目标问答模型。7.根据权利要求6所述的问答模型的训练方法,其特征在于,所述将所述目标文本意群和所述训练样本中的所述样本问题文本输入至所述初始问答模型...

【专利技术属性】
技术研发人员:冯晓阳李长亮姬子明
申请(专利权)人:北京金山数字娱乐科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1