【技术实现步骤摘要】
本专利技术涉及大语言模型，具体涉及一种基于融合向量和关键词检索的rag知识问答方法和装置，是基于大语言模型的融合向量和关键词检索的rag知识问答技术。
技术介绍
1、由于大语言模型llm只知道它们所接受的训练数据知识，所以在回答某些不在训练集中的问题时，回答效果并不是很好。为了解决这一问题，出现了一种称为“检索增强生成”的生成风格。检索增强生成简称是rag，全称是retrieval augmented generation。在这种技术中，若干私有知识库文档信息被检索，并插入到提示指令中，然后提示大语言模型基于这些私有文档知识进行回答。这有助于为大语言模型提供额外的上下文知识填充，缓解大模型回答不精准的问题。
2、但是，目前rag结合llm一般采用将私有文档内容通过向量嵌入模型转换成向量，然后通过向量相似检索的方式从向量数据库中检索出最相似的topk(排名最高的k个)个候选文档内容。这种方式通用性较强、成本低，但是在实际的场景中整体的检索召回率和准确率不够理想(即效果不佳，还有待提高)。
技术实现思路
1、本申请提供一种基于融合向量和关键词检索的rag知识问答方法和装置，以解决现有技术检索召回率和准确率效果还有待提高的上述技术问题。
2、根据本申请的一方面，一种实施例提供了一种基于融合向量和关键词检索的rag知识问答方法，包括：基于构建的知识库，实现用户问答；
3、所述基于构建的知识库，实现用户问答包括：
4、问题q1通过向量嵌入模型生
5、在向量数据库中对所述向量值qe1相似检索出语义最相似的k个文本段落数组pk1；
6、在所述搜索引擎中对所述问题q1检索出分数最高的k个文本段落数组pk2；
7、pk1和pk2两个文本段落数组进行去重、交叉合并，形成新的文本段落数组mix-pk；
8、所述文本段落数组mix-pk作为参考知识库，且和所述问题q1共同组成新的提示文本prompt1；
9、所述提示文本prompt1输入大语言模型，处理得到相应的答案。
10、一种实施例中，所述在向量数据库中对所述向量值qe1相似检索出语义最相似的k个文本段落数组pk1包括：
11、相似度计算；其中，计算所述向量值qe1与向量数据库中存储的其他所有向量的相似度；
12、检索；
13、排序和限制；其中，根据相似度分数对结果进行排序，并选择最相似的所述k个文本段落数组pk1。
14、一种实施例中，所述相似度使用不同的度量方式计算，且所述相似度计算方式包括欧几里得距离、余弦相似度和jaccard相似度中的至少一种；和/或，
15、所述检索的过程中，通过索引算法提高检索效率，且所述索引算法包括ivf_flat和hnsw中的至少一种。
16、一种实施例中，所述参考知识库是rag对搜索结果进行增强的过程的承载产物；最终的所述提示文本prompt1包含用户的问题、从所述向量数据库和所述搜索引擎中检索出来的最适合回答用户问题的参考知识库；其中，pk1和pk2就是所述参考知识库的组成部分；和/或，
17、大语言模型的prompt是指用户提供给模型的输入文本，用于生成模型的输出文本；其中，在自然语言生成任务中，prompt通常是一个问题、一个主题或部分句子，模型会在上述基础上生成相应的回答或补充完整句子。
18、一种实施例中，所述提示文本prompt1输入大语言模型，得到相应的答案包括：
19、分词和词性标注；其中，将用户输入的prompt进行分词，并确定每个单元的词性；
20、编码和语义理解；其中，使用预训练的深度神经网络模型将prompt转化为计算机可以理解的形式，并获得更高级别的语义信息；
21、生成答案；其中，使用生成式深度学习模型从大量的文本数据中学习语言的模式和结构，并生成新的文本；
22、解码和后处理；其中，使用解码器将生成的文本转化为自然语言的句子，并进行后处理和调整，以确保符合用户输入的上下文和语义要求。
23、一种实施例中，所述知识库的构建方法包括：
24、通过文档提取器从文档提取出文本c1；
25、对所述文本c1进行分句和合并段落，最终生成若干文本段落p1；
26、所述文本段落p1通过向量嵌入模型生成向量e1，并存入所述向量数据库；
27、所述文本段落p1通过中文分词后存入所述搜索引擎。
28、一种实施例中，所述文档的类型包括pdf、txt、html和word中的至少一种；通过不同类型的文档提取器从对应的文档提取出所述文本c1；和/或，
29、所述向量数据库包括milvus；和/或，
30、所述搜索引擎包括elasticsearch。
31、根据本申请的一方面，一种实施例提供了一种基于融合向量和关键词检索的rag知识问答装置，包括：
32、知识库构建模块，用于构建知识库；和/或，
33、用户问答模块，用于基于构建的知识库，实现用户问答；
34、其中，所述知识库构建模块包括：
35、提取模块，用于通过文档提取器从文档提取出文本c1；
36、第一处理模块，用于对所述文本c1进行分句和合并段落，最终生成若干文本段落p1；
37、第二处理模块，用于所述文本段落p1通过向量嵌入模型生成向量e1，并存入所述向量数据库；和
38、第三处理模块，用于所述文本段落p1通过中文分词后存入所述搜索引擎；
39、其中，所述用户问答模块包括：
40、生成模块，用于问题q1通过向量嵌入模型生成向量值qe1；其中，所述问题q1由用户输入；
41、相似检索模块，用于在向量数据库中对所述向量值qe1相似检索出语义最相似的k个文本段落数组pk1；
42、检索模块，用于在所述搜索引擎中对所述问题q1检索出分数最高的k个文本段落数组pk2；
43、第四处理模块，用于pk1和pk2两个文本段落数组进行去重、交叉合并，形成新的文本段落数组mix-pk；
44、组成模块，用于所述文本段落数组mix-pk作为参考知识库，且和所述问题q1共同组成新的提示文本prompt1；和
45、第五处理模块，用于所述提示文本prompt1输入大语言模型，处理得到相应的答案。
46、根据本申请的一方面，一种实施例提供了一种电子设备，包括：
47、存储器，和
48、处理器；
49、其中，所述存储器用于存储一条或多条计算机指令；所述一条或多条计算机指令被处理器执行，实现上述任意一项所述的基于融合向量和关键词检索的rag知识问答方法。
50、根据本申请的一方面，一种实施本文档来自技高网...
【技术保护点】
1.一种基于融合向量和关键词检索的RAG知识问答方法，其特征在于，包括：基于构建的知识库，实现用户问答；
2.根据权利要求1所述的一种基于融合向量和关键词检索的RAG知识问答方法，其特征在于，所述在向量数据库中对所述向量值QE1相似检索出语义最相似的K个文本段落数组PK1包括：
3.根据权利要求2所述的一种基于融合向量和关键词检索的RAG知识问答方法，其特征在于，所述相似度使用不同的度量方式计算，且所述相似度计算方式包括欧几里得距离、余弦相似度和Jaccard相似度中的至少一种；和/或，
4.根据权利要求1所述的一种基于融合向量和关键词检索的RAG知识问答方法，其特征在于，所述参考知识库是RAG对搜索结果进行增强的过程的承载产物；最终的所述提示文本Prompt1包含用户的问题、从所述向量数据库和所述搜索引擎中检索出来的最适合回答用户问题的参考知识库；其中，PK1和PK2就是所述参考知识库的组成部分；和/或，
5.根据权利要求1所述的一种基于融合向量和关键词检索的RAG知识问答方法，其特征在于，所述提示文本Prompt1输入大语言模型
6.根据权利要求1-5中任意一项所述的一种基于融合向量和关键词检索的RAG知识问答方法，其特征在于，所述知识库的构建方法包括：
7.根据权利要求6所述的一种基于融合向量和关键词检索的RAG知识问答方法，其特征在于，所述文档的类型包括pdf、txt、html和word中的至少一种；通过不同类型的文档提取器从对应的文档提取出所述文本C1；和/或，
8.一种基于融合向量和关键词检索的RAG知识问答装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机指令；其中，所述计算机指令被处理器执行，实现权利要求1至7中任意一项所述的基于融合向量和关键词检索的RAG知识问答方法。
...【技术特征摘要】
1.一种基于融合向量和关键词检索的rag知识问答方法，其特征在于，包括：基于构建的知识库，实现用户问答；
2.根据权利要求1所述的一种基于融合向量和关键词检索的rag知识问答方法，其特征在于，所述在向量数据库中对所述向量值qe1相似检索出语义最相似的k个文本段落数组pk1包括：
3.根据权利要求2所述的一种基于融合向量和关键词检索的rag知识问答方法，其特征在于，所述相似度使用不同的度量方式计算，且所述相似度计算方式包括欧几里得距离、余弦相似度和jaccard相似度中的至少一种；和/或，
4.根据权利要求1所述的一种基于融合向量和关键词检索的rag知识问答方法，其特征在于，所述参考知识库是rag对搜索结果进行增强的过程的承载产物；最终的所述提示文本prompt1包含用户的问题、从所述向量数据库和所述搜索引擎中检索出来的最适合回答用户问题的参考知识库；其中，pk1和pk2就是所述参考知识库的组成部分；和/或，
...【专利技术属性】
技术研发人员：张锦麟，
申请(专利权)人：上海岩芯数智人工智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。