语言转换模型的训练方法及装置制造方法及图纸

技术编号:32649785 阅读:26 留言:0更新日期:2022-03-12 18:39
本申请实施例提供了一种语言转换模型的训练方法及装置,包括:获取数据表中的数据元素;生成用于查询数据元素的结构化查询语句样本和自然语句样本,自然语句样本中的词语与数据表中的数据元素之间具有映射关系;基于数据元素、自然语句样本、结构化查询语句样本和映射关系,对初始语言转换模型进行训练,得到目标语言转换模型。本申请中整个训练数据生成过程降低了人工参与度,提高了训练数据的生成效率和质量。另外,本申请可以基于数据表的数据元素与自然语句中的词语之间的显性的映射关系,进行语言转换模型的训练,从而使得训练过程中可以有效挖掘数据表知识与自然语句之间潜在的关联,有效提升语言转换模型的性能。有效提升语言转换模型的性能。有效提升语言转换模型的性能。

【技术实现步骤摘要】
语言转换模型的训练方法及装置


[0001]本申请涉及计算机
,特别是涉及一种语言转换模型的训练方法及装置、数据查询方法及装置、物流数据查询方法及装置、智能语音设备控制方法及装置、电子设备、机器可读介质。

技术介绍

[0002]人机问答系统是人机交互场景中的重要应用环节,人机问答系统可以处理用户输入的自然语言问题,得到相应的答案并反馈给用户。
[0003]在目前,人机问答系统可以通过利用人工标注的训练数据训练得到的语义意图识别模型,识别用户输入的自然语言问题的语义意图,并基于与语义意图关联的答复内容模板,反馈给用户与其问题的语义意图匹配的答复内容。
[0004]但是,目前的方案中,人工标注训练数据成本较高,且由于语义意图识别过程存在的模糊性,导致难以针对用户的问题反馈精确的答复内容。

技术实现思路

[0005]本申请实施例提供了一种语言转换模型的训练方法及数据查询方法,以解决相关技术中人工标注训练数据成本较高,且难以针对用户的问题反馈精确的答复内容的问题。
[0006]相应的,本申请实施例还提供了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语言转换模型的训练方法,其特征在于,包括:获取数据表中的数据元素;生成用于查询所述数据元素的结构化查询语句样本和自然语句样本,所述自然语句样本中的词语与所述数据表中的数据元素之间具有映射关系;基于所述数据元素、所述自然语句样本、所述结构化查询语句样本和所述映射关系,对初始语言转换模型进行训练,得到目标语言转换模型,所述目标语言转换模型用于将自然语句转换为针对所述数据表的结构化查询语句。2.根据权利要求1所述的方法,其特征在于,所述生成用于查询所述数据元素的结构化查询语句样本和自然语句样本,包括:根据所述数据元素和预设的结构化查询语句生成规则,生成结构化查询语句样本;基于深度学习模型,将所述结构化查询语句样本转换为自然语句样本。3.根据权利要求1所述的方法,其特征在于,所述基于所述数据元素、所述自然语句样本、所述结构化查询语句样本和所述映射关系,对初始语言转换模型进行训练,得到目标语言转换模型,包括:基于所述映射关系,通过所述初始语言转换模型确定由所述数据元素、所述自然语句样本中的词语构成的组合与所述映射关系匹配的概率;根据所述概率符合预设条件的目标组合和预设的结构化查询语句生成规则,通过所述初始语言转换模型构建目标结构化查询语句;根据由所述目标结构化查询语句和所述结构化查询语句样本之间的损失值确定的损失函数,对所述初始语言转换模型进行训练,得到所述模板语言转换模型。4.根据权利要求3所述的方法,其特征在于,所述结构化查询语句生成规则包括:结构化查询语句中与所述数据元素对应的关键词;所述根据所述概率符合预设条件的目标组合和预设的结构化查询语句生成规则,通过所述初始语言转换模型构建目标结构化查询语句,包括:根据所述结构化查询语句生成规则,确定所述目标组合在结构化查询语句中对应的关键词;根据所述目标组合以及所述目标组合在结构化查询语句中对应的关键词,生成目标结构化查询语句。5.根据权利要求1所述的方法,其特征在于,所述基于所述数据元素、所述自然语句样本、所述结构化查询语句样本和所述映射关系,对初始语言转换模型进行训练,得到目标语言转换模型,包括:将所述自然语句样本中的第一词语替换为其他文本,得到第一自然语句样本,所述第一词语为所述自然语句样本中的任一词语;将所述第一自然语句样本和所述数据元素输入所述初始语言转换模型,得到所述初始语言转换模型基于所述映射关系输出的与所述第一词语对应的第二词语,以及目标结构化查询语句;根据由所述目标结构化查询语句和所述结构化查询语句样本之间的第一损失值,以及所述第一词语和所述第二词语之间的第二损失值确定的损失函数,对所述初始语言转换模型进行训练,得到所述模板语言转换模型。
6.根据权利要求1所述的方法,其特征在于,所述基于所述数据元素、所述自然语句样本、所述结构化查询语句样本和所述映射关系,对初始语言转换模型进行训练,得到目标语言转换模型,包括:将多个所述数据元素中的第一数据元素替换为其他文本,所述第一数据元素为所述数据元素中的任一数据元素;将所述自然语句样本和执行了替换操作的多个数据元素输入所述初始语言转换模型,得到所述初始语言转换模型基于所述映射关系输出的与所述第一数据元素对应的第二数据元素,以及目标结构化查询语句;根据由所述目标结构化查询语句和所述结构化查询语句样本之间的第一损失值,以及所述第一数据元素和所述第二数据元素之间的第三损失值确定的损失函数,对所述初始语言转换模型进行训练,得到所述模板语言转换模型。7.根据权利要求1所述的方法,其特征在于,所述基于所述数据元素、所述自然语句样本、所述结构化查询语句样本和所述映射关系,对初始语言转换模型进行训练,得到目标语言转换模型,包括:将所述自然语句样本中第三词语的词序由第一词序调整为第二词序,得到第二自然语句样本,所述第三词语为所述映射关系中的词语;将所述第二自然语句样本和所述数据元素输入所述初始语言转换模型,得到所述初始语言转换模型基于所述映射关系输出的第三词语的第三语序,以及目标结构化查询语句;根据由所述目标结构化查询语句和所述结构化查询语句样本之间的第一损失值,以及所述第一语序和所述第三语序之间的第四损失值确定的损失函数,对所述初始语言转换模型进行训练,得到所述模板语言转换模型。8.根据权利要求1所述的方法,其特征在于,所述基于所述数据元素、所述自然语句样本、所述结构化查询语句样本和所述映射关系...

【专利技术属性】
技术研发人员:惠彬原耿瑞莹黎槟华石翔李永彬孙健
申请(专利权)人:阿里巴巴达摩院杭州科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1