【技术实现步骤摘要】
本专利技术涉及检索增强生成，具体为一种基于深度学习的rag检索优化方法、系统及电子设备。
技术介绍
1、在rag(检索增强生成)检索领域，当知识库文档较多的时候，文本块成正比的多，可以达到数百万级别，此时将用户的问题向量化后从数百万级别的文本块索引计算召回数个文本块会使得效率较低，召回速度慢，影响用户体验。
2、rag现有的方法和实现原理，将文档中的文本块进行分块后，向量化存储构建索引，随后将问题向量化后与知识库中的文本块求相似，召回出topk文本块返回给大模型生成答案。
技术实现思路
1、本专利技术的目的在于提供一种基于深度学习的rag检索优化方法、系统及电子设备，以解决上述
技术介绍
中提出的问题。
2、通过采用上述技术方案，实现了知识库分类粗召回，可弥补采用以往的全量文本块召回导致的耗时长的缺陷。
3、本专利技术的目的是采用下述技术方案实现的：
4、本专利技术第一方面提供了一种基于深度学习的rag检索优化方法，所述方法包括：
5...
【技术保护点】
1.一种基于深度学习的RAG检索优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的RAG检索优化方法，其特征在于，所述将存储于不同场景的知识库中的各类文档进行预处理包括：
3.根据权利要求1所述的RAG检索优化方法，其特征在于，所述获得预先训练的TF-IDF模型包括：
4.根据权利要求1所述的RAG检索优化方法，其特征在于，所述基于训练好的TF-IDF模型，抽取输入问题和文本块的关键词集合的相似度，分类召回目标知识库包括：通过训练好的TF-IDF模型进行抽取，输入问题和文本块的关键词集合，按照与问题query分数由高到低...
【技术特征摘要】
1.一种基于深度学习的rag检索优化方法，其特征在于，所述方法包括：
2.根据权利要求1所述的rag检索优化方法，其特征在于，所述将存储于不同场景的知识库中的各类文档进行预处理包括：
3.根据权利要求1所述的rag检索优化方法，其特征在于，所述获得预先训练的tf-idf模型包括：
4.根据权利要求1所述的rag检索优化方法，其特征在于，所述基于训练好的tf-idf模型，抽取输入问题和文本块的关键词集合的相似度，分类召回目标知识库包括：通过训练好的tf-idf模型进行抽取，输入问题和文本块的关键词集合，按照与问题query分数由高到低排序，依次选取预设数量的文本块代码；
5.一种基于深度学习的rag检索优化系统，其特征在于，所述系统包括：
6.根据权利要求5所述的rag检索优化...
【专利技术属性】
技术研发人员：刘寓非，刘帅，王伟伟，冯超，宋公朴，陈洪武，
申请(专利权)人：上海圆擎信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。