一种基于大模型和RAG技术构建AI知识库方法技术

技术编号:44006479 阅读:19 留言:0更新日期:2025-01-10 20:24
本发明专利技术涉及一种基于大模型和RAG技术构建AI知识库方法,属于软件开发领域,基于Ollama、Qwen2、RAG AnythingLLM和MinIO,依托Qwen2通过大模型为基础,通过RAG AnythingLLM通过Http协议请求连接MinIO Web的请求地址;通过RAG AnythingLLM解析MinIO中所有的文件;前端界面提供小样本问答式的界面,用户填写提交后,后端封装成Json格式的数据,并调用Ollama接口,把Json数据融合到Qwen2模型中。本发明专利技术提供了广泛的知识理解和生成能力,打造领域内AI智能知识库系统。

【技术实现步骤摘要】

本专利技术涉及一种基于大模型和rag技术构建ai知识库方法,属于软件开发领域,融合了qwen2通用大模型+rag(retrieval-augmented generation)技术+minio+小样本微调策略,旨在构建一个高度专业化的ai智能知识库系统。


技术介绍

1、在大数据项目的实施过程中,汇聚了多种类型的数据,包括结构化和非结构化数据。结构化数据主要是数据库,excel等规范的二维表数据,而非结构化数据则主要是word、pdf、图片等形式的数据。对于非结构化数据项目中通常采用oss对象存储方式如minio。这种存储方式主要用于提供数据网盘及查询结果的附件功能。且随着非结构数据的增加,oss对象存储中数据分类逻辑就会不清晰。在实际应用场景中,用户对非结构化数据的价值需求越来越高。他们希望这些数据不仅能作为附件使用,还能构建成一个内部知识库。知识库支持ai交互式查询,帮助用户快速找到所需的内部知识集。同时根据一些输入内容,ai能够根据知识库中内容生成解决方案文档,从而更好地发挥非结构化数据的价值。

2、然而,目前市场上还没有能够解决这一问题的本文档来自技高网...

【技术保护点】

1.一种基于大模型和RAG技术构建AI知识库方法,其特征在于,包括以下几个步骤:

2.根据权利要求1所述的基于大模型和RAG技术构建AI知识库方法,其特征在于,所述步骤S8的实现的步骤如下:

3.根据权利要求1所述的基于大模型和RAG技术构建AI知识库方法,其特征在于,所述步骤S11的实现的步骤如下:

4.根据权利要求1所述的基于大模型和RAG技术构建AI知识库方法,其特征在于,所述后端服务打通前端用户界面、后端服务与Qwen2大模型之间的桥梁,同时实现用户认证和授权机制,确保只有授权用户才能访问知识库。

5.根据权利要求1所述的基于大模型...

【技术特征摘要】

1.一种基于大模型和rag技术构建ai知识库方法,其特征在于,包括以下几个步骤:

2.根据权利要求1所述的基于大模型和rag技术构建ai知识库方法,其特征在于,所述步骤s8的实现的步骤如下:

3.根据权利要求1所述的基于大模型和rag技术构建ai知识库方法,其特征在于,所述步骤s11的实现的步骤如下:

4.根据权利要求1所述的基于大模型和rag技术构建ai知识库方法,其特征在于,所述后端服务打通前端用户界面、后端服务与qwen2大模型之间...

【专利技术属性】
技术研发人员:徐振权
申请(专利权)人:南京国睿信维软件有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1