检索增强生成式问答的输出方法、装置、设备及存储介质制造方法及图纸

本申请属于人工智能领域，涉及一种检索增强生成式问答的输出方法，包括通过第一大语言模型对查询问题和历史对话内容进行整合，得到增强查询语句，基于增强查询语句生成知识库查询语句，根据知识库查询语句在预设知识库中进行查询，得到知识库查询结果，将知识库查询结果和增强查询语句输入第二大语言模型中，输出候选答案，根据知识库查询结果和增强查询语句对候选答案进行评测，根据评测分数对候选答案筛选出目标答案。本申请还提供一种检索增强生成式问答的输出装置、设备及存储介质。此外，本申请还涉及区块链技术，用户输入的查询问题可存储于区块链中。本申请能够提高答案的生成效率和准确性，提升答案的质量。

【技术实现步骤摘要】

本申请涉及人工智能、金融科技和数字医疗，尤其涉及一种检索增强生成式问答的输出方法、装置、设备及存储介质。

技术介绍

1、大语言模型(large language model，简称llm)是基于transformer架构的自然语言处理模型，参数量大且经过了大量文本的训练，因此，llm可以贴近人类的语言认知和生成过程。与传统的nlp模型相比，llm能够更好地理解和生成自然文本，并具备一定的逻辑和推理能力，在各种问答场景展现了卓越的能力。从头设计和训练llm的成本很高，随着一批表现优异的预训练模型的开源，如llama2、chatglm、bloom、ziya等，基于开源模型的微调工作也成为了研究的热点。为适应各种特定场景，通常利用垂直领域数据对基座llm进行微调形成行业大模型。注入了行业高质量数据的微调模型可以在特定领域有更好的表现，但llm在推理过程中依然容易出现幻觉、不透明和不可追踪等问题。常见做法是通过整合知识库中的知识，实现向量rag，rag即为检索增强生成，是retrieval augmented generation的缩写。但通过rag方案生成的答案和本文档来自技高网...

【技术保护点】

1.一种检索增强生成式问答的输出方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的检索增强生成式问答的输出方法，其特征在于，所述第一大语言模型包括第一嵌入层、多级特征提取层、头实体识别层、第一注意力层和关系与尾实体联合识别层；所述将所述查询问题和所述历史对话内容输入训练好的第一大语言模型中进行整合，得到增强查询语句的步骤包括：

3.根据权利要求2所述的检索增强生成式问答的输出方法，其特征在于，所述多级特征提取层包括底层网络单元、中间层网络单元和高层网络单元，所述通过所述多级特征提取层对所述语句嵌入向量进行特征提取，得到多级文本特征的步骤包括：

...

【技术特征摘要】

1.一种检索增强生成式问答的输出方法，其特征在于，包括下述步骤：

2.根据权利要求1所述的检索增强生成式问答的输出方法，其特征在于，所述第一大语言模型包括第一嵌入层、多级特征提取层、头实体识别层、第一注意力层和关系与尾实体联合识别层；所述将所述查询问题和所述历史对话内容输入训练好的第一大语言模型中进行整合，得到增强查询语句的步骤包括：

3.根据权利要求2所述的检索增强生成式问答的输出方法，其特征在于，所述多级特征提取层包括底层网络单元、中间层网络单元和高层网络单元，所述通过所述多级特征提取层对所述语句嵌入向量进行特征提取，得到多级文本特征的步骤包括：

4.根据权利要求1所述的检索增强生成式问答的输出方法，其特征在于，所述基于所述增强查询语句生成知识库查询语句的步骤包括：

5.根据权利要求1所述的检索增强生成式问答的输出方法，其特征在于，所述第二大语言模型包括知识层、第二嵌入层、选择机制层、可见层、编码层、crf层和输出层，所述将所述知识库查询结果和所述增强查询语句输入训练好的第...

【专利技术属性】
技术研发人员：潘劲松，陈喜润，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：