一种智能客服领域的多模态RAG系统快速构建方法技术方案

本发明专利技术公开了一种智能客服领域的多模态RAG系统快速构建方法，涉及智能客服技术领域，解决了目前基于纯大语言模型的RAG系统只能生成纯文本，无法理解并生成图片，无法很好的完成带图片的输出交互，导致在很多需要图文并茂的场景中具有很大局限性的技术问题；本发明专利技术将原始上下文语料，划分为正/负样本语料；将划分后的语料按预设比例与大语言模型的通用数据集混合，并对大语言模型进行训练优化，以及构建多模态数据库，根据用户的提问，从多模态数据库中提取对应的文档切片，并输入至大语言模型中，生成答案推送给用户；本发明专利技术提供了更加丰富和完整的输出，显著提升了用户体验和应用场景的广泛性。

【技术实现步骤摘要】

本专利技术属于智能客服领域，具体是一种智能客服领域的多模态rag系统快速构建方法。

技术介绍

1、随着大语言模型技术的不断发展落地，越来越多的行业利用大语言模型技术构建自己的智能知识问答系统(rag)，以帮助解答企业内部员工以及客户的各种各样的专业问题，尤其是在专业知识检索、产品使用说明以及常见故障排查等方面，具有重大的使用价值。

2、rag系统通过检索外部知识库来增强大语言模型的生成能力，它将检索到的知识输入到大语言模型中，优化模型的生成结果，使其更加精确、更加贴合上下文，并减少误导性信息的产生。这种技术为大语言模型安装了“知识外挂”，使其在不需要经过训练的情况下，就能够回答垂直领域最新最专业的相关知识，从而提高回答的准确性、实时性和关联性。但是目前基于纯大语言模型的rag系统只能生成纯文本，无法理解并生成图片，无法很好的完成带图片的输出交互，导致在很多需要图文并茂的场景中具有很大的局限性。因此本专利技术提供了一种智能客服领域的多模态rag系统快速构建方法。

技术实现思路

1、本专利技术旨在至少本文档来自技高网...

【技术保护点】

1.一种智能客服领域的多模态RAG系统快速构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种智能客服领域的多模态RAG系统快速构建方法，其特征在于，所述正样本语料为上下文语料和答案中均有图片占位符的语料；所述负样本语料为上下文语料中有图片占位符而答案没有图片占位符的语料。

3.根据权利要求1所述的一种智能客服领域的多模态RAG系统快速构建方法，其特征在于，所述根据用户提交的知识文档，构建多模态数据库，包括以下步骤：

4.根据权利要求3所述的一种智能客服领域的多模态RAG系统快速构建方法，其特征在于，将添加了图片占位符的文档切片，送入大语...

【技术特征摘要】

1.一种智能客服领域的多模态rag系统快速构建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种智能客服领域的多模态rag系统快速构建方法，其特征在于，所述正样本语料为上下文语料和答案中均有图片占位符的语料；所述负样本语料为上下文语料中有图片占位符而答案没有图片占位符的语料。

3.根据权利要求1所述的一种智能客服领域的多模态rag系统快速构建方法，其特征在于，所述根据用户提交的知识文档，构建多模态数据库，包括以下...

【专利技术属性】
技术研发人员：卫海智，廖奇，李钊辉，毛超，
申请(专利权)人：科讯嘉联信息技术有限公司，
类型：发明
国别省市：