一种图文混合输出的大模型RAG检索方法及系统技术方案

本发明专利技术属于人工智能大模型技术领域，公开了一种图文混合输出的大模型RAG检索方法及系统。该方法对原始文档语料进行预处理，生成语料树，并对图、表等语料进行处理，生成键值对存储到数据库中；对问答语句生成词向量，并与语料树进行检索，找到最相关的语料；将最相关的语料拼接成prompt，然后传送给文本大语音模型；问答大模型输出相关结果；基于文本大语音模型输出的结果，检索替换结果中的图、表的键信息，生成最终的问答结果。本发明专利技术解决了现有技术难以处理这种包含文本、图片、图表数据的资料的问题，生成了准确度高的最终的问答结果。

【技术实现步骤摘要】

本专利技术属于人工智能大模型，尤其涉及一种图文混合输出的大模型rag检索方法及系统。

技术介绍

1、2006年geoffrey hinton提出通过逐层无监督预训练的方式来缓解由于梯度消失而导致的深层网络难以训练的问题，从此深度神经网络在计算机视觉、自然语言处理等人工智能领域取得了突破性的发展；2017年，google提出基于自注意力机制的神经网络结构——transformer架构，奠定了大模型预训练算法架构基础。2018年，openai和google分别发布了gpt-1与bert大模型，预训练大模型成为自然语言处理领域主流。2022年底，由openai发布的语言大模型chatgpt引发了社会的广泛关注。在“大模型+大数据+大算力”的加持下，chatgpt能够通过自然语言交互完成多种任务，具备了多场景、多用途、跨学科的任务处理能力。大模型逐渐成为了人工智能领域的关键基础设施。大模型通过在海量无标注数据上进行大规模预训练，能够学习到大量的语言知识与世界知识，并且通过指令微调、人类对齐等关键技术拥有面向多任务的通用求解能力，具有极强的拓展性。然而大模型的技术本本文档来自技高网...

【技术保护点】

1.一种图文混合输出的大模型RAG检索方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的图文混合输出的大模型RAG检索方法，其特征在于，步骤S1具体包括：

3.根据权利要求2所述的图文混合输出的大模型RAG检索方法，其特征在于，在步骤S102中，字典哈希映射的步骤如下：

4.根据权利要求2所述的图文混合输出的大模型RAG检索方法，其特征在于，步骤S103具体包括：

5.根据权利要求1所述的图文混合输出的大模型RAG检索方法，其特征在于，步骤S2中，对问答语句生成词向量，包括：对输入的问答语句进行检索词切分并进行向量化，利用中文...

【技术特征摘要】

1.一种图文混合输出的大模型rag检索方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的图文混合输出的大模型rag检索方法，其特征在于，步骤s1具体包括：

3.根据权利要求2所述的图文混合输出的大模型rag检索方法，其特征在于，在步骤s102中，字典哈希映射的步骤如下：

4.根据权利要求2所述的图文混合输出的大模型rag检索方法，其特征在于，步骤s103具体包括：

5.根据权利要求1所述的图文混合输出的大模型rag检索方法，其特征在于，步骤s2中，对问答语句生成词向量，包括：对输入的问答语句进行检索词切分并进行向量化，利用中文分词包jieba以及fasttext词向量化算法，将检索问答语句转化为词向量表示，将生成多个词向量，对检索语句的词向量进行预处理，删除掉介词，疑问词，得到检索词的词向量。

【专利技术属性】
技术研发人员：陈长远，刘再斌，范涛，李贵红，刘博睿，荆小恬，杜易明，李西萍，刘强，赵佳文，李旭，
申请(专利权)人：西安煤科透明地质科技有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人