一种提升大语言模型准确性的RAG混合检索方法及装置制造方法及图纸

技术编号:41922025 阅读:47 留言:0更新日期:2024-07-05 14:21
本发明专利技术属于RAG检索技术领域,具体涉及一种提升大语言模型准确性的RAG混合检索方法及装置,包括:基于用户的检索文本,从预先建立的向量数据库和搜索引擎中分别进行检索,得到第一检索结果和第二检索结果;所述第一检索结果和所述第二检索结果均包括:文本段落ID和文本段落的相似度评分;利用所述第一检索结果和所述第二检索结果,获取备选结果集;基于所述备选结果集中文本段落的相似度评分,确定最终的检索结果,并将最终的检索结果发送至大语言模型。本发明专利技术采用混合检索的方式,充分发挥向量检索和关键字检索的优点,弥补各自的不足,提高了检索结果的准确性和可靠性,从而为大语言模型提供更准确的外部知识,以此提高大语言模型内容生成的质量。

【技术实现步骤摘要】

本专利技术属于rag检索,具体涉及一种提升大语言模型准确性的rag混合检索方法及装置。


技术介绍

1、随着aigc技术热潮席卷全球,各种基于大语言模型技术的应用探索逐渐兴起,其中构建企业级智能知识库是现阶段大语言模型最重要的应用场景之一。目前企业级智能知识库rag应用大多是基于embedding的向量检索或基于知识图谱的检索与大语言模型生成技术相结合来实现。然而随着很多开发者在rag应用方向上的持续探索和验证,逐渐认识到通过向量检索技术来构建rag应用很难满足业务对大语言模型生成内容的准确性要求,而通过知识图谱技术来构建rag应用准确性有所提高,但是需要大量数据标注和处理的额外工作。如何快速、高效、准确的构建企业级智能知识库是rag应用真正落地面临的问题。

2、从借助aigc构建智能化应用角度来将,使用自动化的数据处理及检索召回更符合企业级应用场景的需求,因为其具备以下优势:1)相近语义的理解及推理能力;2)多语言的理解及推理能力;3)多模态理解及数据处理能力;4)有一定的容错性(可以处理一定的拼写错误、描述模糊的语句)。</p>

3、因此本文档来自技高网...

【技术保护点】

1.一种提升大语言模型准确性的RAG混合检索方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述向量数据库的建立过程,包括:

3.根据权利要求1所述的方法,其特征在于,所述搜索引擎的建立过程,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于用户的检索文本,从预先建立的向量数据库和搜索引擎中分别进行检索,得到第一检索结果和第二检索结果,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于用户的检索文本,从预先建立的向量数据库和搜索引擎中分别进行检索,得到第一检索结果和第二检索结果,还包括

6....

【技术特征摘要】

1.一种提升大语言模型准确性的rag混合检索方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述向量数据库的建立过程,包括:

3.根据权利要求1所述的方法,其特征在于,所述搜索引擎的建立过程,包括:

4.根据权利要求1所述的方法,其特征在于,所述基于用户的检索文本,从预先建立的向量数据库和搜索引擎中分别进行检索,得到第一检索结果和第二检索结果,包括:

5.根据权利要求1所述的方法,其特征在于,所述基于用户的检索文本,从预先建立的向量数据库和搜索引擎中分别进行检索,得到第一检索结果和第二检索结果,还包括:

【专利技术属性】
技术研发人员:冯东李杰张建军梁丙杰
申请(专利权)人:北京国电通网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1