文本召回方法、装置、计算机设备及存储介质制造方法及图纸

技术编号:39178148 阅读:25 留言:0更新日期:2023-10-27 08:25
本发明专利技术公开一种文本召回方法,该方法:通过改写模块对初始文本和完整文本进行特征编码,得到初始向量和完整向量;通过召回模块对初始向量和完整向量进行文本召回,得到第一召回文本和第二召回文本;对第一召回文本和第二召回文本进行特征编码,得到第一向量和第二向量;根据初始向量、完整向量、第一向量和第二向量,确定预测损失值;达到预设收敛条件时,记录为文本召回模型;通过文本召回模型对待召回文本进行文本召回,得到文本召回结果。本发明专利技术通过端到端的建模方式,实现了将改写阶段的信息传到召回阶段,避免了关键信息的丢失。通过在隐空间下学习完整的话语,使得金融等领域中文本生成的语义更加完整,提升了金融等领域中文本召回精度。本召回精度。本召回精度。

【技术实现步骤摘要】
文本召回方法、装置、计算机设备及存储介质


[0001]本专利技术涉及自然语言
,尤其涉及一种文本召回方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着人工智能语音助手的兴起,金融机构等领域中对话知识获取任务越来越受到关注。对话知识获取的目标在于去识别匹配用户当前话语的意图和内容,在知识库中匹配召回相关的知识内容,以更好的理解用户的需求并服务于下游任务。例如在银行、证券、保险等金融机构的业务量持续扩大,产生大量的对话知识获取任务。
[0003]现有技术中,金融机构通常采用多阶段的方式去解决对话知识获取问题,即首先通过改写模型去补全当前用户话语的语义内容,再用补全过的用户话语去召回相关的知识文本文档。这种多阶段的方式由于要分别单独处理话语改写和知识召回,导致金融领域中模型在真实应用的时候时间开销大,同时忽略了话语改写和知识召回的联系。

技术实现思路

[0004]本专利技术实施例提供一种文本召回方法、装置、设备及存储介质,以解决现有技术中因分阶段处理而忽略话语改写和知识召回之间联系的问题。
[0005本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种文本召回方法,其特征在于,包括:获取文本数据集,所述文本数据集包括至少一个初始文本和与所述初始文本对应的完整文本;通过预设训练模型中的改写模块对所有所述初始文本和所有所述完整文本进行特征编码,得到与各所述初始文本对应的初始向量,以及与各所述完整文本对应的完整向量;通过所述预设训练模型中的召回模块对所有所述初始向量和所有所述完整向量进行文本召回,得到与各所述初始向量对应的第一召回文本,以及与各所述完整向量对应的第二召回文本;对所有所述第一召回文本和所有所述第二召回文本进行特征编码,得到与各所述第一召回文本对应的第一向量,以及与各所述第二召回文本对应的第二向量;根据所述初始向量、所述完整向量、所述第一向量和所述第二向量,确定所述预设训练模型的预测损失值;在所述预测损失值预设收敛条件时,将收敛之后的所述预设训练模型记录为文本召回模型;获取至少一个待召回文本,通过所述文本召回模型对所有所述待召回文本进行文本召回,得到与各所述待召回文本对应的文本召回结果。2.如权利要求1所述的文本召回方法,其特征在于,所述通过预设训练模型中的改写模块对所有所述初始文本进行特征编码,得到与各所述初始文本对应的初始向量,包括:通过所述改写模块中的重写输入层对所述初始文本进行预处理,得到重写输入向量;通过所述改写模块中的重写注意力层对所述重写输入向量进行注意力处理,得到重写注意力向量;通过所述改写模块中的重写前馈神经网络对所述重写注意力向量进行预测,得到与所述初始文本对应的初始向量。3.如权利要求1所述的文本召回方法,其特征在于,所述通过所述预设训练模型中的召回模块对所有所述初始向量和所有所述完整向量进行文本召回,得到与各所述初始向量对应的第一召回文本,以及与各所述完整向量对应的第二召回文本,包括:获取召回文档数据集,所述召回文档数据集包括至少一个文档文本和与所述文档文本对应的文本向量;对所述初始向量和所有所述文本向量进行相似度处理,得到与各所述文本向量对应的第一相似度值,并根据所有所述第一相似度值,将所述文档文本确定为与所述初始向量对应的第一召回文本;对所述完整向量和所有所述文本向量进行相似度处理,得到与各所述文本向量对应的第二相似度值,并根据所有所述第二相似度值,将所述文档文本确定为与所述完整向量对应的第二召回文本。4.如权利要求1所述的文本召回方法,其特征在于,所述对所有所述第一召回文本进行特征编码,得到与各所述第一召回文本对应的第一向量,包括:通过所述召回模块中的召回输入层对所述第一召回文本进行预处理,得到召回输入向量;通过所述召回模块中的召回注意力层对所述召回输入向量进行注意力处理,得到召回
注意力向量;通过所述召回模块中的召回前馈神经网络对所述召回注意力向量进行预测,得到与所述第一召回文本对应的第一向量。5.如权利要求1所述的文本召回方法,其特征在于,所述根据所述初始向量、所述完整向量、所述第一向量和所述第...

【专利技术属性】
技术研发人员:李志韬叶童王健宗程宁
申请(专利权)人:平安科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1