基于大模型及本地知识库的智能对话方法、系统及设备技术方案

本发明专利技术提供了一种基于大模型及本地知识库的智能对话方法、系统及设备，属于人工智能领域，方法包括：获取本地知识库及用户问题；采用预先训练好的大模型中的编码器分别对用户问题及本地知识库中的问题编码，得到对应的句向量；计算用户问题句向量与本地知识库中问题句向量的语义相似度；若用户问题句向量与本地知识库中任一问答数据的问题句向量的语义相似度大于或等于设定阈值，则将问答数据的答案作为用户问题的答案；否则采用预先训练好的密集段落检索模型计算用户问题与本地知识库中各文章段落的相似性，并确定多个候选文章段落；根据多个候选文章段落及用户问题，采用预先训练好的大模型确定用户问题的答案。本发明专利技术提高了智能对话的可靠性。提高了智能对话的可靠性。提高了智能对话的可靠性。

【技术实现步骤摘要】
基于大模型及本地知识库的智能对话方法、系统及设备


[0001]本专利技术涉及人工智能领域，特别是涉及一种基于大模型及本地知识库的智能对话方法、系统及设备。

技术介绍

[0002]近期，美国人工智能公司OpenAI推出的基于预训练大模型的智能对话系统ChatGPT在全网掀起了热潮，成为史上用户增长速度最快的应用之一。在使用过程中，ChatGPT及类似的预训练大模型技术暴露出一些问题，包括知识更新困难、回答内容不受控、无法私有化部署、数据安全等，无法满足大中型企业以及一些知识密集型行业用户的需求。
[0003]综上，现有基于预训练大模型的智能对话技术存在诸多局限，主要体现在以下方面。
[0004]（1）时效性问题。大模型内容较为陈旧，因此对于时效性较强或者频繁发生变化的问题回答较差。大模型的训练时间长和成本较高是造成该问题的主要原因。
[0005]（2）专业性问题。现有大模型对通用性问题回答较好，但在专业性较强的领域则无法保障正确性，在一些对可靠性和精确性要求较高的行业表现不佳。
[0006]（3）不可控问题。大模型对不熟悉的问题也会强行给出答案，无法避免答案中出现明显错误，或知识库中的内容矛盾的情况。本质上还是由于大模型缺乏与行业或领域知识相结合的能力。
[0007]综上，现有的智能对话技术提供的问题答案可靠性较低。

技术实现思路

[0008]本专利技术的目的是提供一种基于大模型及本地知识库的智能对话方法、系统及设备，可提高智能对话的可靠性。
[0009]为实现上述目的，本专利技术了一种基于大模型及本地知识库的智能对话方法，包括：获取本地知识库及用户问题；所述本地知识库中包括多个问答数据及多个文章段落；每个问答数据包括问题及答案。
[0010]采用预先训练好的大模型中的编码器分别对所述用户问题及所述本地知识库中每个问答数据的问题进行编码，得到用户问题句向量及所述本地知识库中每个问答数据的问题句向量；大模型包括编码器及解码器，所述编码器及所述解码器均包括多个层叠的Transformer块。
[0011]计算所述用户问题句向量与本地知识库中每个问答数据的问题句向量的语义相似度。
[0012]若所述用户问题句向量与本地知识库中任一问答数据的问题句向量的语义相似度大于或等于设定阈值，则将所述问答数据的答案作为所述用户问题的答案。
[0013]若所述用户问题句向量与本地知识库中所有问答数据的问题句向量的语义相似
度均小于设定阈值，则采用预先训练好的密集段落检索模型，计算所述用户问题与所述本地知识库中各文章段落的相似性。
[0014]根据所述用户问题与所述本地知识库中各文章段落的相似性，确定多个候选文章段落。
[0015]根据多个候选文章段落及所述用户问题，采用预先训练好的大模型，确定所述用户问题的答案；预先训练好的大模型用于根据输入的知识信息及问题，输出答案。
[0016]为实现上述目的，本专利技术还提供了一种基于大模型及本地知识库的智能对话系统，包括：数据获取模块，用于获取本地知识库及用户问题；所述本地知识库中包括多个问答数据及多个文章段落；每个问答数据包括问题及答案。
[0017]编码模块，与所述数据获取模块连接，用于采用预先训练好的大模型中的编码器分别对所述用户问题及所述本地知识库中每个问答数据的问题进行编码，得到用户问题句向量及所述本地知识库中每个问答数据的问题句向量；大模型包括编码器及解码器，所述编码器及所述解码器均包括多个层叠的Transformer块。
[0018]语义相似度计算模块，与所述编码模块连接，用于计算所述用户问题句向量与本地知识库中每个问答数据的问题句向量的语义相似度。
[0019]第一答案确定模块，与所述语义相似度计算模块连接，用于若所述用户问题句向量与本地知识库中任一问答数据的问题句向量的语义相似度大于或等于设定阈值，则将所述问答数据的答案作为所述用户问题的答案。
[0020]段落相似性计算模块，与所述语义相似度计算模块连接，用于若所述用户问题句向量与本地知识库中所有问答数据的问题句向量的语义相似度均小于设定阈值，则采用预先训练好的密集段落检索模型，计算所述用户问题与所述本地知识库中各文章段落的相似性。
[0021]候选段落确定模块，与所述段落相似性计算模块连接，用于根据所述用户问题与所述本地知识库中各文章段落的相似性，确定多个候选文章段落。
[0022]第二答案确定模块，与所述候选段落确定模块连接，用于根据多个候选文章段落及所述用户问题，采用预先训练好的大模型，确定所述用户问题的答案；预先训练好的大模型用于根据输入的知识信息及问题，输出答案。
[0023]为实现上述目的，本专利技术还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述的基于大模型及本地知识库的智能对话方法。
[0024]根据本专利技术提供的具体实施例，本专利技术公开了以下技术效果：本专利技术采用预先训练好的大模型中的编码器分别对用户问题及本地知识库中每个问答数据的问题进行编码，基于句向量理解用户意图，实现了对用户本地结构化问答知识的学习，使用的大模型在解码器结果的基础上引入了编码器结构，在拥有较好的自然语言生成能力的同时，强化了自然语言理解的能力，更擅长理解用户的意图。若用户问题句向量与本地知识库中所有问答数据的问题句向量的语义相似度均小于设定阈值，则采用预先训练好的密集段落检索模型，计算用户问题与本地知识库中各文章段落的相似性，并确定多个候选文章段落，基于密集段落检索模型进行本地知识库检索，实现了对用户本地非结构化文档知识的学习。最后根据多个候选文章段落及用户问题，采用预先训练好的大模型确定用户问题的答案，实现
基于用户本地知识的可控智能对话，进而提高了智能对话的可靠性。
附图说明
[0025]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0026]图1为本专利技术提供的基于大模型及本地知识库的智能对话方法的流程图。
[0027]图2为大模型的示意图。
[0028]图3为本专利技术提供的基于大模型及本地知识库的智能对话系统的示意图。
[0029]符号说明：201
‑
数据获取模块，202
‑
编码模块，203
‑
语义相似度计算模块，204
‑
第一答案确定模块，205
‑
段落相似性计算模块，206
‑
候选段落确定模块，207
‑
第二答案确定模块。
具体实施方式
[0030]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大模型及本地知识库的智能对话方法，其特征在于，所述基于大模型及本地知识库的智能对话方法包括：获取本地知识库及用户问题；所述本地知识库中包括多个问答数据及多个文章段落；每个问答数据包括问题及答案；采用预先训练好的大模型中的编码器分别对所述用户问题及所述本地知识库中每个问答数据的问题进行编码，得到用户问题句向量及所述本地知识库中每个问答数据的问题句向量；大模型包括编码器及解码器，所述编码器及所述解码器均包括多个层叠的Transformer块；计算所述用户问题句向量与本地知识库中每个问答数据的问题句向量的语义相似度；若所述用户问题句向量与本地知识库中任一问答数据的问题句向量的语义相似度大于或等于设定阈值，则将所述问答数据的答案作为所述用户问题的答案；若所述用户问题句向量与本地知识库中所有问答数据的问题句向量的语义相似度均小于设定阈值，则采用预先训练好的密集段落检索模型，计算所述用户问题与所述本地知识库中各文章段落的相似性；根据所述用户问题与所述本地知识库中各文章段落的相似性，确定多个候选文章段落；根据多个候选文章段落及所述用户问题，采用预先训练好的大模型，确定所述用户问题的答案；预先训练好的大模型用于根据输入的知识信息及问题，输出答案。2.根据权利要求1所述的基于大模型及本地知识库的智能对话方法，其特征在于，所述大模型的训练过程包括：获取训练数据集；所述训练数据集中包括多个字符序列；采用所述训练数据集对大模型进行迭代训练，以得到初步大模型；获取指令精调数据集；所述指令精调数据集中包括多个真实对话数据；每个真实对话数据包括知识信息、问题及答案；采用所述指令精调数据集，对所述初步大模型进行迭代训练，以得到训练好的大模型。3.根据权利要求1所述的基于大模型及本地知识库的智能对话方法，其特征在于，所述语义相似度是根据余弦相似度或欧几里得距离的向量相似度计算算法确定的。4.根据权利要求1所述的基于大模型及本地知识库的智能对话方法，其特征在于，采用预先训练好的密集段落检索模型，计算所述用户问题与所述本地知识库中各文章段落的相似性，具体包括：采用预先训练好的密集段落检索模型，分别对所述用户问题及所述本地知识库中的各文章段落进行编码，得到用户问题编码数据及所述本地知识库中各文章段落的编码数据；针对任一文章段落，计算所述用户问题编码数据与所述文章段落的编码数据的内积，以得到所述用户问题与所述文章段落的相似性。5.根据权利要求1所述的基于大模型及本地知识库的智能对话方法，其特征在于，根据所述用户问题与所述本地知识库中各文章段落的相似性，确定多个候选文章段落，具体包括：将所述本地知识库中的文章段落按照与所述用户问题的相似性由大到小排序，并选取前N个文章段落作为候选文章段落，N>1。
6.根据权利要求1所述的基于大模型及本地知识库的智能对话方法，其特征在于，根据多个候选文章段落及所述用户问题，采用预先训练好的大模型，确定所述用户问题的答案，具体包括：根据多个候选文章段落及预先设置的提示词，确定候选知...

【专利技术属性】
技术研发人员：夏博，李世奇，李国东，
申请(专利权)人：语仓科技北京有限公司，
类型：发明
国别省市：