信息获取方法、装置、电子设备及计算机可读存储介质制造方法及图纸

技术编号:24756409 阅读:17 留言:0更新日期:2020-07-04 09:13
本申请提供了一种信息获取方法、装置、电子设备及计算机可读存储介质。所述方法包括:获取搜索语句;通过预先训练得到的联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型;根据搜索意图与查询语句模板之间的对应关系,获取所述目标搜索意图对应的目标查询模板;调用所述目标查询模板对所述目标实体词进行语句转换处理,生成所述目标实体词对应的目标查询语句;根据所述目标查询语句和所述目标实体类型在预置数据库中进行信息检索,得到所述搜索语句对应的检索信息。本申请可以实现实体识别和意图理解的联合识别,能够提高线上系统的性能,提高了问答系统的性能。

Information acquisition method, device, electronic equipment and computer-readable storage medium

【技术实现步骤摘要】
信息获取方法、装置、电子设备及计算机可读存储介质
本申请涉及信息处理
,特别是涉及一种信息获取方法、装置、电子设备及计算机可读存储介质。
技术介绍
问答系统(QuestionAnsweringSystem,QA)是信息检索系统的一种高级形式,它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对快速、准确地获取信息的需求。问答系统是目前人工智能和自然语言处理领域中一个倍受关注并具有广泛发展前景的研究方向。实体识别和意图理解是问答系统中的两个重要环节,现有的问答系统大多将这两个环节当成两个子任务来处理,即先识别用户传入问题中存在的实体,然后理解问句想要表达的意图,根据实体和意图返回对应的答案。实体识别常采用户字典分词(实体词库)或者基于有监督的大规模语料标注的深度学习方法进行序列标注等方法,问题理解则采用问题对相似度匹配等。这种两步式的处理方式会在很大程度上影响线上系统的性能。
技术实现思路
本申请提供一种信息获取方法、装置、电子设备及计算机可读存储介质,以解决现有技术中实体识别和意图理解分开执行的方式,很大程度上影响线上系统的性能的问题。为了解决上述问题,本申请公开了一种信息获取方法,包括:获取搜索语句;通过预先训练得到的联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型;根据搜索意图与查询语句模板之间的对应关系,获取所述目标搜索意图对应的目标查询模板;调用所述目标查询模板对所述目标实体词进行语句转换处理,生成所述目标实体词对应的目标查询语句;根据所述目标查询语句和所述目标实体类型在预置数据库中进行信息检索,得到所述搜索语句对应的检索信息。可选地,在所述通过预先训练得到的联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型之前,还包括:获取至少一个查询类型对应的多个训练样本;所述多个训练样本包括不同查询类型的搜索语句,每个所述训练样本包含初始搜索意图和初始实体词;针对各所述查询类型,对所述查询类型对应的多个训练样本进行标注处理,得到标注训练样本;将各所述标注训练样本输入至初始联合模型;所述初始联合模型包括意图理解层和实体识别层;调用所述意图理解层对所述标注训练样本进行意图识别处理,确定所述标注训练样本对应的预测搜索意图;调用所述实体识别层对所述标注训练样本进行实体识别处理,确定所述标注训练样本对应的预测实体词;根据所述预测搜索意图和所述初始搜索意图,计算得到所述意图理解层对应的意图损失值;根据所述初始实体词和所述预测实体词,计算得到所述实体识别层对应的实体损失值;在所述意图损失值和所述实体损失值的和值处于预设范围内的情况下,将所述初始联合模型作为所述查询类型对应的联合模型。可选地,所述通过预先训练得到的联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型,包括:获取所述搜索语句对应的目标查询类型;根据所述目标查询类型,确定所述搜索语句对应的目标联合模型;通过所述目标联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型。可选地,所述通过所述目标联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型,包括:调用所述目标联合模型的目标意图识别层对所述搜索语句进行意图识别处理,确定所述搜索语句对应的目标搜索意图;调用所述目标联合模型的目标实体识别层对所述搜索语句进行实体识别处理,确定所述搜索语句对应的目标实体词,及所述目标实体词对应的目标实体类型。可选地,所述查询类型包括:单一类值查询类型、函数查询类型、范围查询类型、最短路径查询类型、多级查询类型中的至少一种。为了解决上述问题,本申请公开了一种信息获取装置,包括:搜索语句获取模块,用于获取搜索语句;目标实体意图确定模块,用于通过预先训练得到的联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型;目标查询模板获取模块,用于根据搜索意图与查询语句模板之间的对应关系,获取所述目标搜索意图对应的目标查询模板;目标查询语句生成模块,用于调用所述目标查询模板对所述目标实体词进行语句转换处理,生成所述目标实体词对应的目标查询语句;检索信息获取模块,用于根据所述目标查询语句和所述目标实体类型在预置数据库中进行信息检索,得到所述搜索语句对应的检索信息。可选地,还包括:训练样本获取模块,用于获取至少一个查询类型对应的多个训练样本;所述多个训练样本包括不同查询类型的搜索语句,每个所述训练样本包含初始搜索意图和初始实体词;标注训练样本获取模块,用于针对各所述查询类型,对所述查询类型对应的多个训练样本进行标注处理,得到标注训练样本;标注训练样本输入模块,用于将各所述标注训练样本输入至初始联合模型;所述初始联合模型包括意图理解层和实体识别层;预测搜索意图确定模块,用于调用所述意图理解层对所述标注训练样本进行意图识别处理,确定所述标注训练样本对应的预测搜索意图;预测实体词确定模块,用于调用所述实体识别层对所述标注训练样本进行实体识别处理,确定所述标注训练样本对应的预测实体词;意图损失值计算模块,用于根据所述预测搜索意图和所述初始搜索意图,计算得到所述意图理解层对应的意图损失值;实体损失值计算模块,用于根据所述初始实体词和所述预测实体词,计算得到所述实体识别层对应的实体损失值;联合模型获取模块,用于在所述意图损失值和所述实体损失值的和值处于预设范围内的情况下,将所述初始联合模型作为所述查询类型对应的联合模型。可选地,所述目标实体意图确定模块包括:目标查询类型获取单元,用于获取所述搜索语句对应的目标查询类型;目标联合模型确定单元,用于根据所述目标查询类型,确定所述搜索语句对应的目标联合模型;目标实体意图确定单元,用于通过所述目标联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型。可选地,所述目标实体意图确定单元包括:目标搜索意图确定子单元,用于调用所述目标联合模型的目标意图识别层对所述搜索语句进行意图识别处理,确定所述搜索语句对应的目标搜索意图;目标实体类型确定单元,用于调用所述目标联合模型的目标实体识别层对所述搜索语句进行实体识别处理,确定所述搜索语句对应的目标实体词,及所述目标实体词对应的目标实体类型。可选地,所述查询类型包括:单一类值查询类型、函数查询类型、范围查询类型、最短路径查询类型、多级查本文档来自技高网...

【技术保护点】
1.一种信息获取方法,其特征在于,包括:/n获取搜索语句;/n通过预先训练得到的联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型;/n根据搜索意图与查询语句模板之间的对应关系,获取所述目标搜索意图对应的目标查询模板;/n调用所述目标查询模板对所述目标实体词进行语句转换处理,生成所述目标实体词对应的目标查询语句;/n根据所述目标查询语句和所述目标实体类型在预置数据库中进行信息检索,得到所述搜索语句对应的检索信息。/n

【技术特征摘要】
1.一种信息获取方法,其特征在于,包括:
获取搜索语句;
通过预先训练得到的联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型;
根据搜索意图与查询语句模板之间的对应关系,获取所述目标搜索意图对应的目标查询模板;
调用所述目标查询模板对所述目标实体词进行语句转换处理,生成所述目标实体词对应的目标查询语句;
根据所述目标查询语句和所述目标实体类型在预置数据库中进行信息检索,得到所述搜索语句对应的检索信息。


2.根据权利要求1所述的方法,其特征在于,在所述通过预先训练得到的联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型之前,还包括:
获取至少一个查询类型对应的多个训练样本;所述多个训练样本包括不同查询类型的搜索语句,每个所述训练样本包含初始搜索意图和初始实体词;
针对各所述查询类型,对所述查询类型对应的多个训练样本进行标注处理,得到标注训练样本;
将各所述标注训练样本输入至初始联合模型;所述初始联合模型包括意图理解层和实体识别层;
调用所述意图理解层对所述标注训练样本进行意图识别处理,确定所述标注训练样本对应的预测搜索意图;
调用所述实体识别层对所述标注训练样本进行实体识别处理,确定所述标注训练样本对应的预测实体词;
根据所述预测搜索意图和所述初始搜索意图,计算得到所述意图理解层对应的意图损失值;
根据所述初始实体词和所述预测实体词,计算得到所述实体识别层对应的实体损失值;
在所述意图损失值和所述实体损失值的和值处于预设范围内的情况下,将所述初始联合模型作为所述查询类型对应的联合模型。


3.根据权利要求2所述的方法,其特征在于,所述通过预先训练得到的联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型,包括:
获取所述搜索语句对应的目标查询类型;
根据所述目标查询类型,确定所述搜索语句对应的目标联合模型;
通过所述目标联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型。


4.根据权利要求3所述的方法,其特征在于,所述通过所述目标联合模型对所述搜索语句进行处理,确定所述搜索语句对应的目标搜索意图、目标实体词及所述目标实体词对应的目标实体类型,包括:
调用所述目标联合模型的目标意图识别层对所述搜索语句进行意图识别处理,确定所述搜索语句对应的目标搜索意图;
调用所述目标联合模型的目标实体识别层对所述搜索语句进行实体识别处理,确定所述搜索语句对应的目标实体词,及所述目标实体词对应的目标实体类型。


5.根据权利要求2所述的方法,其特征在于,所述查询类型包括:单一类值查询类型、函数查询类型、范围查询类型、...

【专利技术属性】
技术研发人员:杨卓士王炳乾
申请(专利权)人:京东方科技集团股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1