基于检索增强的金融问答文本生成方法、设备及存储介质技术

本发明专利技术涉及一种基于检索增强的金融问答文本生成方法、设备及存储介质，包括：设计了一个应用于金融领域的垂直域检索增强范式，通过双塔模型对问题和检索文档进行编码，并利用余弦相似度抽取语料库中与问题关键词相似度较高的文档进行召回，通过将问题与检索的金融文档进行拼得到的文本输入到生成模型并将输出概率进行加权的文本生成集成策略，利用匹配的金融检索文档的概率与语言模型输出序列的模糊度来训练金融文档检索器的优化方法。本发明专利技术提出了金融领域检索增强语言模型的新范式。在这个范式下，利用生成模型产生监督信号，从而去优化金融文档检索组件以适配生成模型，从而消除或减少幻觉即事实性错误的生成。消除或减少幻觉即事实性错误的生成。消除或减少幻觉即事实性错误的生成。

【技术实现步骤摘要】
基于检索增强的金融问答文本生成方法、设备及存储介质


[0001]本专利技术涉及问答
，尤其是涉及一种基于检索增强的金融问答系统文本生成方法。

技术介绍

[0002]问答系统由搜索引擎发展而来，能够为用户返回更加精确的和更加符合用户需求的答案。对话系统可以分为两类，即基于检索的模型和基于生成的模型。基于检索的模型在接收响应请求时直接从对话语料库(即检索池)中复制现有的响应。检索到的回答通常是信息丰富和合乎语法的，因为它们是从真实世界的对话中收集的，也可能是由人类编辑的。因此，当给定的对话历史与检索池中的对话历史有本质差异时，这样的系统表现很差。另一方面，基于生成的模型从零开始生成一个新的话语。这些基于生成的模型在处理不可见的对话上下文时具有更好的泛化能力。
[0003]目前，应用于金融领域的问答系统较多为基于知识图谱的知识检索模型。中国专利申请CN112100344A给出了一种基于知识图谱的金融领域知识问答方法。中国专利申请CN110083692B给出了一种金融知识问答的文本交互匹配方法及装置，中国专利申请CN111522906B提出了一种基于问答模式的金融事件主体抽取方法。
[0004]基于知识图谱的问答系统通过对用户的问句进行语义解析，识别问句的中心实体，理解用户的意图，将问句的实体链接到知识图谱中的实体，最后构造查询语句从知识图谱中查询到答案返回给用户。但是在对话切换话题的场景中，仅通过中心实体来构造外部知识图谱的方式，无法有效对问题进行扩充，特别是在垂直领域中，以中心实体构造的外部知识容易导致语言模型的“幻觉”。

技术实现思路

[0005]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种检索增强范式，将检索模型和生成模型相结合，以满足问答系统对结果的准确性、多样性及合理性的要求。
[0006]本专利技术的目的可以通过以下技术方案来实现：
[0007]作为本专利技术的第一方面，提供一种基于检索增强的金融问答文本生成方法，方法步骤包括：
[0008]使用检索器，采用双编码器模型分别对开放域以及金融域的问题和检索文档进行编码，并召回问题相关文档；
[0009]使用检索结果集成器，采用交叉编码器模型对开放域与金融域召回的问题相关文档进行重排并精选检索结果，对精选检索结果与原始上下文采用加权集成策略进行拼接；
[0010]使用生成器，以加权集成生成的文档为输入，根据问题和检索到的辅助知识生成问答结果；
[0011]其中，所述问题检索器采用基于模糊度监督优化方法调整检索文档的概率。
[0012]进一步的，所述检索器采用密集通道检索的优化训练方法，基于双编码器模型分
别实现对开放域和金融域检索源的检索，具体步骤如下：
[0013]基于双编码器及其训练策略，对两个编码器E q(
·
)和E p(
·
)采用预先训练的大模型初始化的两个独立神经网络，并将第一个标记处的表示作为编码的输出；
[0014]基于双编码器及其训练策略，对两个编码器E
q
(
·
)和E
p
(
·
)采用预先训练的大模型初始化的两个独立神经网络，并将第一个标记处的表示作为编码的输出；
[0015]密集通道双编码器使用编码器E
p
(
·
)来获取通道的嵌入；
[0016]建立通道嵌入索引进行检索，在查询时使用另一个编码器E
q
(
·
)将输入问题嵌入到一个d维实值向量中，检索出嵌入位置与问题最近的k个段落文档；
[0017]计算问题q和候选段落p之间的相似性，利用相似度抽取语料库中与问题相似度较高的文档进行召回。
[0018]进一步的，所述检索器的训练目标是学习问题和文章的密集表示，使训练数据中问题积极的文章对比问题消极的文章对具有更高的相似度：
[0019]双编码器给定一个问题q
i
及其文章正样本和m个负样本通过训练将损失函数最小化：
[0020][0021]其中，m训练采用的负样本数量，sim(q,p)表示问题q和候选段落p之间的相似性。
[0022]进一步的，所述开放域的检索为根据问题从检索库与外部搜索引擎检索源获得相关文档。
[0023]进一步的，所述金融域的检索为从金融领域知识库和搜索引擎库检索源对排名靠前的热门检索词进行检索获得相关文档。
[0024]进一步的，所述采用交叉编码器模型重排开放域与金融域召回的问题相关文档，具体过程如下：
[0025]将问答正样本与由问题检索器得到的2*k个检索文档输入BERT编码器；
[0026]将编码结果计算相关性分数；
[0027]依据相关性分数对文档进行重拍并输出前k个精选检索结果。
[0028]进一步的，所述对精选检索结果与原始上下文采用加权集成策略进行拼接，具体步骤包括：
[0029]对预训练语料库中原始上下文x进行编码；
[0030]计算基于文档d和输入上下文x之间的相似性得分：
[0031]根据评分函数，得到由k个与输入上下文x最相关的文档组成的集合D
′
，将D
′
中的每个文档d提前到输入上下文x，并将这个连接分别传递给生成器，然后集成来自所有2k次传递的输出概率，所述评分函数如下：
[0032]p(y|x,D
′
)＝p(y|d
°
x)
·
λ(d,x)
[0033]其中，
°
表示两个序列的连接与权重，λ(d,x)是基于文档d和输入上下文x之间的相似性得分；
[0034]所述集成方法需要运行k次，在每个检索到的文档d和输入上下文x之间执行交叉注意力。
[0035]进一步的，所述基于模糊度监督的检索器优化方法用于调整检索文档的概率，以匹配生成器的输出序列模糊的概率，找到使结果评分较高的文档：
[0036]在给定输入上下文x的情况下，使用检索器从语料库D中检索召回k个相似度得分最高的检索文档
[0037]计算每个检索文档d∈D的检索似然：
[0038][0039]其中，γ是控制最大值的超参数，通过对检索到的文档D
’
进行边缘化来近似检索可能性；
[0040]计算在给定输入上下文x和文档d的情况下，生成器输出y的概率真值；
[0041]依据生成器输出y的概率真值计算每个检索文档评分：
[0042][0043]通过最小化检索似然与检索文档评分两个分布之间的KL发散，训练更新检索器模型参数：
[0044][0045]其中，β是一组输入上下文；
[0046]在每个训练步骤中重新计算文档嵌入并使用新的嵌入重建有效的搜索索引；
[0047]使用新的文档嵌入和索引进行检索，并重复训练过程。
[0048本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于检索增强的金融问答文本生成方法，其特征在于，方法步骤包括：使用检索器，采用双编码器模型分别对开放域以及金融域的问题和检索文档进行编码，并召回问题相关文档；使用检索结果集成器，采用交叉编码器模型对开放域与金融域召回的问题相关文档进行重排并精选检索结果，对精选检索结果与原始上下文采用加权集成策略进行拼接；使用生成器，以加权集成生成的文档为输入，根据问题和检索到的辅助知识生成问答结果；其中，所述问题检索器采用基于模糊度监督优化方法调整检索文档的概率。2.根据权利要求1所述的一种基于检索增强的金融问答文本生成方法，其特征在于，所述检索器采用密集通道检索的优化训练方法，基于双编码器模型分别实现对开放域和金融域检索源的检索，具体步骤如下：基于双编码器及其训练策略，对两个编码器E q(
·
)和E p(
·
)采用预先训练的大模型初始化的两个独立神经网络，并将第一个标记处的表示作为编码的输出；基于双编码器及其训练策略，对两个编码器E
q
(
·
)和E
p
(
·
)采用预先训练的大模型初始化的两个独立神经网络，并将第一个标记处的表示作为编码的输出；密集通道双编码器使用编码器E
p
(
·
)来获取通道的嵌入；建立通道嵌入索引进行检索，在查询时使用另一个编码器E
q
(
·
)将输入问题嵌入到一个d维实值向量中，检索出嵌入位置与问题最近的k个段落文档；计算问题q和候选段落p之间的相似性，利用相似度抽取语料库中与问题相似度较高的文档进行召回。3.根据权利要求2所述的一种基于检索增强的金融问答文本生成方法，其特征在于，所述检索器的训练目标是学习问题和文章的密集表示，使训练数据中问题积极的文章对比问题消极的文章对具有更高的相似度：双编码器给定一个问题q
i
及其文章正样本和m个负样本通过训练将损失函数最小化：其中，m训练采用的负样本数量，sim(q,p)表示问题q和候选段落p之间的相似性。4.根据权利要求2所述的一种基于检索增强的金融问答文本生成方法，其特征在于，所述开放域的检索为根据问题从检索库与外部搜索引擎检索源获得相关文档。5.根据权利要求2所述的一种基于检索增强的金融问答文本生成方法，其特征在于，所述金融域的检索为从金融领域知识库和搜索引擎库检索源对排名靠前的热门检索词进行检索获得相关文档。...

【专利技术属性】
技术研发人员：张伟娜，李欢峰，段钰堂，孙苏苏，申昊民，
申请(专利权)人：上海电力大学，
类型：发明
国别省市：