同义问句生成模型训练方法及系统、同义问句生成方法技术方案

技术编号:24409993 阅读:11 留言:0更新日期:2020-06-06 08:46
本发明专利技术公开一种本发明专利技术还提供一种同义问句生成模型训练方法及系统,其中所述方法包括:获取训练样本集,所述训练样本集中包含有多个同义问句集合,所述多个同义问句集合中的每一个同义问句集合分别包含多个问句对;以所述训练样本集中的问句对对所述同义问句生成模型进行训练。通过训练得到同义问句生成模型,可以在进行同义问句的扩展时直接将待扩展问句输入至训练好的同义问句生成模型即可得到多个扩展出的同义问句,节省了人力物力,并且还使得扩展出的句式更加的多种多样。

Training method, system and method of generating synonymous questions

【技术实现步骤摘要】
同义问句生成模型训练方法及系统、同义问句生成方法
本专利技术涉及计算机信息
,尤其涉及一种同义问句生成模型训练方法及系统、同义问句生成方法。
技术介绍
自然语言处理领域在近些年得到了飞速发展,而问答系统作为自然语言处理领域的重要内容也成为人们关注的热点。现阶段,问答系统广泛应用于智能客服,智能聊天机器人等。目前,常用的问答系统由用户交互模块、知识库、检索与排序模块、答案处理模块组成。用户问题与知识库内所表示的问题之间越相近,问答系统回答就越准确。否则会出现由于用户问题和存储的问答对表述差异较大,问答系统不能返回正确答案的情况。此时将用户问题更换为同义问句,问答系统就能返回正确答案。例如,假设问答系统知识库中存在问题“最早的手机是谁专利技术的?”,对用户问题“移动电话的专利技术人叫什么名字”,问答系统不能返回正确答案。对同义扩展问题“手机是谁专利技术的?”,问答系统则能返回正确答案。目前扩展同义问句的方法主要依靠人工进行近义词替换、主语替换等,具有人工工作量大,而且不能生成新句式等缺点。
技术实现思路
本专利技术实施例提供一种同义问句生成模型训练方法及系统、同义问句生成方法,用于至少解决上述技术问题之一。第一方面,本专利技术还提供一种同义问句生成模型训练方法,包括:获取训练样本集,所述训练样本集中包含有多个同义问句集合,所述多个同义问句集合中的每一个同义问句集合分别包含多个问句对;以所述训练样本集中的问句对对所述同义问句生成模型进行训练。在一些实施例中,获取训练样本集包括以下步骤:获取问句集合;对所述问句集合中的问句进行聚类,得到多个同义问句集合;将所述多个同义问句集合中的每一个同义问句集合中的问句之间两两构成问句对,以得到相应的多个同义问句对集合。在一些实施例中,在将所述多个同义问句集合中的每一个同义问句集合中的问句之间两两构成问句对之前,所述方法还包括:根据预设扩展词库,对所述多个同义问句集合中的问句进行同义句扩展。在一些实施例中,所述根据预设扩展词库,对所述多个同义问句集合中的问句进行同义句扩展包括:对于所述多个同义问句集合中的每一个问句进行分词处理,得到对应于所述每一个问句的多个分词;从所述预设扩展词库中查找用于替换所述每一个问句的多个分词的扩展词,以得到扩展同义问句。在一些实施例中,训练样本集构建方法还包括:对于扩展之后的每一个同义问句集合中的问句进行去重。在一些实施例中,在将所述多个同义问句集合中的每一个同义问句集合中的问句之间两两构成问句对之前,所述方法还包括:对所述多个同义问句集合中的每一个同义问句集合中的多个问句所包含的表示相同含义的分词进行标注。第二方面,本专利技术还提供一种同义问句生成方法,包括:接收待扩展问句;将所述待扩展问句输入至前述实施例中的同义问句生成模型训练方法训练得到的同义问句生成模型,以得到相应的同义问句。第三方面,一种同义问句生成模型训练系统,包括:样本集获取模块,用于获取训练样本集,所述训练样本集中包含有多个同义问句集合,所述多个同义问句集合中的每一个同义问句集合分别包含多个问句对;训练模块,用于以所述训练样本集中的问句对对所述同义问句生成模型进行训练。在一些实施例中,样本集获取模块包括:问句获取单元,用于获取问句集合;问句聚类单元,用于对所述问句集合中的问句进行聚类,得到多个同义问句集合;问句对生成单元,用于将所述多个同义问句集合中的每一个同义问句集合中的问句之间两两构成问句对,以得到相应的多个同义问句对集合。在一些实施例中,训练样本集构建系统还包括,问句扩展模块,用于在将所述多个同义问句集合中的每一个同义问句集合中的问句之间两两构成问句对之前,根据预设扩展词库,对所述多个同义问句集合中的问句进行同义句扩展。在一些实施例中,所述根据预设扩展词库,对所述多个同义问句集合中的问句进行同义句扩展包括:对于所述多个同义问句集合中的每一个问句进行分词处理,得到对应于所述每一个问句的多个分词;从所述预设扩展词库中查找用于替换所述每一个问句的多个分词的扩展词,以得到扩展同义问句。在一些实施例中,训练样本集构建系统还包括:问句去重模块,用于对于扩展之后的每一个同义问句集合中的问句进行去重。在一些实施例中,训练样本集构建系统还包括:问句标注模块,用于在将所述多个同义问句集合中的每一个同义问句集合中的问句之间两两构成问句对之前,对所述多个同义问句集合中的每一个同义问句集合中的多个问句所包含的表示相同含义的分词进行标注。第五方面,本专利技术实施例提供一种存储介质,所述存储介质中存储有一个或多个包括执行指令的程序,所述执行指令能够被电子设备(包括但不限于计算机,服务器,或者网络设备等)读取并执行,以用于执行本专利技术上述任一项同义问句生成方法。第六方面,提供一种电子设备,其包括:至少一个处理器,以及与所述至少一个处理器通信连接的存储器,其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本专利技术上述任一项同义问句生成方法。第七方面,本专利技术实施例还提供一种计算机程序产品,所述计算机程序产品包括存储在存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被计算机执行时,使所述计算机执行上述任一项同义问句生成方法。本专利技术实施例的有益效果在于:通过训练得到同义问句生成模型,可以在进行同义问句的扩展时直接将待扩展问句输入至训练好的同义问句生成模型即可得到多个扩展出的同义问句,节省了人力物力,并且还使得扩展出的句式更加的多种多样。附图说明为了更清楚地说明本专利技术实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术的基于生成模型的问句同义扩展方法的流程图;图2为本专利技术的同义问句生成模型训练方法的一实施例的流程图;图3为本专利技术中的获取训练样本集的另一实施例的示意图;图4为本专利技术中获取训练样本集的另一实施例的示意图;图5为本专利技术的同义问句生成模型训练系统的一实施例的示意图;图6为本专利技术的同义问句生成模型训练系统中的样本集获取模块的一实施例的示意图;图7为本专利技术的电子设备的一实施例的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。需要说明的是,在不本文档来自技高网...

【技术保护点】
1.一种同义问句生成模型训练方法,包括:/n获取训练样本集,所述训练样本集中包含有多个同义问句集合,所述多个同义问句集合中的每一个同义问句集合分别包含多个问句对;/n以所述训练样本集中的问句对对所述同义问句生成模型进行训练。/n

【技术特征摘要】
1.一种同义问句生成模型训练方法,包括:
获取训练样本集,所述训练样本集中包含有多个同义问句集合,所述多个同义问句集合中的每一个同义问句集合分别包含多个问句对;
以所述训练样本集中的问句对对所述同义问句生成模型进行训练。


2.根据权利要求1所述的同义问句生成模型训练方法,其中,所述获取训练样本集包括:
获取问句集合;
对所述问句集合中的问句进行聚类,得到多个同义问句集合;
将所述多个同义问句集合中的每一个同义问句集合中的问句之间两两构成问句对,以得到相应的多个同义问句对集合。


3.根据权利要求2所述的方法,其中,
在将所述多个同义问句集合中的每一个同义问句集合中的问句之间两两构成问句对之前,所述方法还包括:
根据预设扩展词库,对所述多个同义问句集合中的问句进行同义句扩展。


4.根据权利要求3所述的方法,其中,所述根据预设扩展词库,对所述多个同义问句集合中的问句进行同义句扩展包括:
对于所述多个同义问句集合中的每一个问句进行分词处理,得到对应于所述每一个问句的多个分词;
从所述预设扩展词库中查找用于替换所述每一个问句的多个分词的扩展词,以得到扩展同义问句。


5.根据权利要求4所述的方法,其中,还包括:对于扩展...

【专利技术属性】
技术研发人员:钟丽娟
申请(专利权)人:苏州思必驰信息科技有限公司
类型:发明
国别省市:江苏;32

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1