一种基于深度学习辅助生成相似问句的方法技术

技术编号:24331269 阅读:96 留言:0更新日期:2020-05-29 19:41
一种基于深度学习辅助生成相似问句的方法,包括以下步骤:S1:在客服系统中进行知识库建表,根据客服系统中的历史问法,对问句进行分词、倒排索引后,存入到开源软件中;S2:对初始问句并进行预处理,并在开源软件中进行搜索,生成拓展问句;S3:对拓展问句进行特征提取,并输入到第一深度学习模型中进行处理;S4:采用第一深度学习模型来判断拓展问句属于哪类标准问题,最后根据结果进行打标;S5:将所述拓展问句作为初始问句来重复步骤S2~S4,将生成的扩展问句的信息传入到第二深度学习模型中以判断拓展问句是否和相似问句属于同一类标准问题。本发明专利技术相较于现有技术能够避免人工添加相似问题带来的时间成本,利用多模型融合使得准确率获得提高。

A method of generating similar questions based on deep learning

【技术实现步骤摘要】
一种基于深度学习辅助生成相似问句的方法
涉及数据处理领域,具体涉及一种基于深度学习辅助生成相似问句的方法。
技术介绍
虽然网络搜索引擎在如今众多的互联网应用中己经取得了巨大的成就,但其作为人们获取信息的主要手段或多或少还存在着一些不足,具体包括以下几点:(1)通常搜索引擎返回的是与用户查询最相关的若干个网页,用户需要从上到下一个接一个地浏览搜索引擎返回的结果列表,并且看完网页的大部分内容,才能从中归纳总结出真正需要的内容和信息。这样往往会耗费用户大量的时间,并且容易使得用户因为其过于繁琐而产生厌烦;(2)搜索引擎对于关键词查询的处理会使得不熟悉使用搜索引擎的用户,多次提交不同的查询给搜索引擎以期望得到想要的信息,但是这样也会得到很多不需要的信息,给用户在有效地利用搜索引擎帮助其检索信息时带来诸多的不便;(3)目前的搜索引擎大都基于关键词查询,对于用户的输入要先经过分词处理,这样通常会丢失输入的语义信息,导致搜索引擎返回的结果不够准确。为了解决上面的问题,问答系统应运而生。首先,问答的查询方式为完整而口语化的问句,帮助用户节省精心构造查询本文档来自技高网...

【技术保护点】
1.一种基于深度学习辅助生成相似问句的方法,其特征在于,包括以下步骤:/nS1:在客服系统中进行知识库建表,根据客服系统中的历史问法,对问句进行分词、倒排索引后,存入到开源软件中;/nS2:对初始问句并进行预处理,并在开源软件中进行搜索,返回topN的历史问法,生成拓展问句;/nS3:将拓展问句输入到第一深度学习模型中进行处理;/nS4:采用第一深度学习模型来判断拓展问句属于哪类标准问题,最后根据结果进行打标;/nS5:将所述拓展问句作为初始问句来重复步骤S2~S4,将生成的扩展问句的信息传入到第二深度学习模型中以判断拓展问句是否和相似问句属于同一类标准问题。/n

【技术特征摘要】
1.一种基于深度学习辅助生成相似问句的方法,其特征在于,包括以下步骤:
S1:在客服系统中进行知识库建表,根据客服系统中的历史问法,对问句进行分词、倒排索引后,存入到开源软件中;
S2:对初始问句并进行预处理,并在开源软件中进行搜索,返回topN的历史问法,生成拓展问句;
S3:将拓展问句输入到第一深度学习模型中进行处理;
S4:采用第一深度学习模型来判断拓展问句属于哪类标准问题,最后根据结果进行打标;
S5:将所述拓展问句作为初始问句来重复步骤S2~S4,将生成的扩展问句的信息传入到第二深度学习模型中以判断拓展问句是否和相似问句属于同一类标准问题。


2.根据权利要求1所述的基于深度学习辅助生成相似问句的方法,其特征在于,所述步骤S4中的第一深度学习模型为多分类bert模型,所述步骤S5中的第二深度学习模型为二分类bert模型。


3.根据权利要求2所述的基于深度学习辅助生成相似问句的方法,其特征在于,所述多分类bert模型和二分类bert模型均由bert预训练中文模型微调而来,具体为:在知识库中,对相似...

【专利技术属性】
技术研发人员:王磊
申请(专利权)人:浙江百应科技有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1