一种基于大语言模型的表格内容RAG客服问答方法技术

本发明专利技术公开了一种基于大语言模型的表格内容RAG客服问答方法，该方法首先解析客服文档识别文本段落和表格数据，对表格数据进行处理，并进行切片处理。其次将切片处理后的数据增加文档域信息，并构建向量索引。然后对用户问题进行语义补全，使用嵌入模型将文本向量化，在向量索引中进行向量检索，筛选出与问题最相关的检索信息。再然后在筛选后的数据中做同表聚合再进行文档级聚合，使用大语言模型抽取在该文档中所有与用户问题相关的关键信息，并进行过滤得到总整合信息。最后将总整合信息结合标准化提问，由大模型生成回答。本发明专利技术增强了问答系统在检索包含表格数据的文档时的准确性，提升用户体验和满意度。

【技术实现步骤摘要】

本专利技术属于人工智能中的自然语言处理，特别涉及一种基于大语言模型的表格内容rag客服问答方法。

技术介绍

1、在当今数字化时代，客服问答系统已经成为企业与客户沟通的重要桥梁。随着自然语言处理技术的进步，基于检索增强生成(retrieval-augmented generation，rag)的系统，简称rag系统，因其结合了大语言模型语言理解、生成和大规模文档知识库的优势，成为新的研究热点。使用rag的客服问答系统能够生成更加自然、准确、流畅的回答，从而提供更优质的客户服务。

2、然而，由于文档知识库的多样性，现有的rag系统在处理包含表格数据这类结构化文档时面临挑战。在客服领域，表格这类结构化信息通常包含了产品的详细的参数信息，而这种信息对于回答客户问题和提供精确信息至关重要。

3、通用的rag系统通常包括三个阶段：索引阶段、检索阶段、生成阶段。

4、在索引阶段，通过对文档、数据库或其他信息库进行数据预处理，分割成数据分片，使用嵌入模型得到这些数据分片的嵌入向量，对这些向量进行索引，系统能够快速定位相关数据。

<本文档来自技高网...

【技术保护点】

1.一种基于大语言模型的表格内容RAG客服问答方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于大语言模型的表格内容RAG客服问答方法，其特征在于，步骤1中所述对表格数据进行处理具体过程如下：

3.根据权利要求1所述的基于大语言模型的表格内容RAG客服问答方法，其特征在于，所述切片处理具体过程如下：

4.根据权利要求3所述的基于大语言模型的表格内容RAG客服问答方法，其特征在于，所述步骤3具体实现过程如下：

5.根据权利要求4所述的基于大语言模型的表格内容RAG客服问答方法，其特征在于，所述步骤5具体实现过程如下：

...

【技术特征摘要】

1.一种基于大语言模型的表格内容rag客服问答方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于大语言模型的表格内容rag客服问答方法，其特征在于，步骤1中所述对表格数据进行处理具体过程如下：

3.根据权利要求1所述的基于大语言模型的表格内容rag客服问答方法，其特征在于，所述切片处理具体过程如下：

4.根据权利要求3所述的基于大语言模型的表格内容rag客服问答方法，其特征在于，所述步骤3具体实现过程如下：

5.根据权利要求4所述的基于大语言模型的表格内容rag客服问答方法，其特征在于，所述步骤5具体实现过程如下：

6.根据权利要求5所述的基于大语言模型的表格内容rag客服问答方法，其特征在于，在所述步骤5中，将所有同属一个表的数据，包括该表的概述性信息和表格切片，不进行重复计数，在top-p筛选中，都算为同一个个体。

7.根据权利要求6所述的基于大语言模型的表格内容rag客服问答方法，其特征在于，所述对同一个表的数据进行聚合...

【专利技术属性】
技术研发人员：吴震东，薛鋆豪，叶江伟，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：