一种基于链式的检索增强生成方法、装置及可读存储介质制造方法及图纸

技术编号:43334718 阅读:25 留言:0更新日期:2024-11-15 20:31
本申请提供一种基于链式的检索增强生成方法、装置及可读存储介质,方法包括:获取待检索内容,将所述待检索内容转换为嵌入向量;根据所述嵌入向量,在向量数据库中进行检索,得到相关性文档,所述向量数据库基于源数据构建;基于所述相关性文档进行文档链重构处理,得到第一文档链;将所述待检索内容以及所述第一文档链输入大语言模型,通过所述大语言模型生成所述待检索内容对应的检索结果。本申请通过将切分后的文档块构建为便于前后双向遍历的双链表结构,可使RAG系统采用尽可能小的分块方式,使每个文档块中的语义尽可能的清晰,从而提高检索的准确性,同时,通过链表结构又能高效的扩充上下文内容,以保证与语义的完整性。

【技术实现步骤摘要】

本申请涉及人工智能,尤其涉及一种基于链式的检索增强生成方法、装置及可读存储介质


技术介绍

1、目前,各种生成式大语言模型(large language mode l,llm)已经在诸多场景中展示出强大的能力,但它们的知识都是在训练时就固定下来的,无法实时更新,导致其在准确性、知识更新速度、专业知识、私域知识的利用方面仍存在挑战。

2、检索增强生成(retr i eva l-augmented generat i on,rag),是一种结合了信息检索技术和llm的提示功能的技术。它允许llm通过搜索算法检索相关信息,并利用这些信息作为上下文来生成回答,使rag能够提供更加丰富和准确的回答。

3、检索增强生成在回答问题时,优先从外部知识库中检索相关信息,并将检索到的信息输入给大模型作为回答用户问题的上下文。rag通过结合大语言模型的参数化知识和非参数化的外部知识库,有效提升了知识迭代的速度和私有领域知识的利用率,同时提高了大语言模型在问题回答上的准确性。

4、然而,目前的rag系统仍然存在着一些局限性,如,内容切分难、关键本文档来自技高网...

【技术保护点】

1.一种基于链式的检索增强生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于链式的检索增强生成方法,其特征在于,S2中,所述向量数据库的构建过程包括:

3.根据权利要求2所述的基于链式的检索增强生成方法,其特征在于,S03,包括:

4.根据权利要求1所述的基于链式的检索增强生成方法,其特征在于,S3,包括:

5.根据权利要求4所述的基于链式的检索增强生成方法,其特征在于,S32,包括:

6.根据权利要求5所述的基于链式的检索增强生成方法,其特征在于,所述分类结果包括通过文档块分类得到的文档块分类字典;

...

【技术特征摘要】

1.一种基于链式的检索增强生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于链式的检索增强生成方法,其特征在于,s2中,所述向量数据库的构建过程包括:

3.根据权利要求2所述的基于链式的检索增强生成方法,其特征在于,s03,包括:

4.根据权利要求1所述的基于链式的检索增强生成方法,其特征在于,s3,包括:

5.根据权利要求4所述的基于链式的检索增强生成方法,其特征在于,s32,包括:

6.根据权利要求5所述的基于链式的检索增强生成方法,其特征在于,所述分类结果包括通过文档块分类得到的文档块分类字...

【专利技术属性】
技术研发人员:段信程乔岳燕永标窦瑞华王红波王元杰
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1