一种基于分支式拼接的低成本检索增强生成评测方法技术

本发明专利技术公开了一种基于分支式拼接的低成本检索增强生成评测方法，涉及自然语言处理的检索增强生成技术领域，将训练数据进行“检索问题+输出答案”、“检索问题+检索结果列表”、“检索结果列表+输出答案”的重新分组，用于分别判断语言大模型的答案相关性、上下文相关性和忠实性，针对答案相关性，利用词袋模型和TF‑IDF模型，计算Jaccard相似度、余弦相似度等多种指标；针对忠实性，计算MRR、MSR等指标；针对上下文相关性，使用了基于Textrank的文本处理方法，最终对每一项指标进行综合考量，直到达到预定目标。这种方法不仅提高了评测的全面性和可靠性，也有效降低了评测过程中的主观性和偶然性，使得评测结果更加客观、可信。

【技术实现步骤摘要】

本专利技术涉及自然语言处理的检索增强生成，尤其涉及一种基于分支式拼接的低成本检索增强生成评测方法。

技术介绍

1、检索增强生成策略rag因其能够显著提升大型语言模型在回答问题时的表现，而备受瞩目。rag的基本原理是先从语料库中检索相关信息，再将这些信息与原始问题一起输入到语言模型中，从而增强模型的知识和回答能力，改善大模型在一些方面的不足：如训练数据不全、无垂直领域数据、容易出现幻觉等。然而，尽管rag策略非常有效，其实施过程却需要大量的调优。因此，在rag评估领域，还存在着大量的需求和挑战，具体包括以下几个方面：

2、检测方法的可复现性。不同的检索模型性能会有所不同，评估结果的表现也会因为数据集的选取导致差异，以致实验结果难以一致再现。为了保证研究的严谨性和结果的可信度，需要建立标准化的评估流程，拥有较低的复现门槛，更有利于方法和流程的统一。

3、信息的实用有效性。rag评估的内容应全面覆盖模型的检索效率、信息融合能力以及最终的生成质量。因此，评估过程不仅要关注检索模块能否从数据中检索出与查询高度相关的信息，还要深入评估这些相关信本文档来自技高网...

【技术保护点】

1.一种基于分支式拼接的低成本检索增强生成评测方法，将标准评测指标与机器学习算法相结合，降低对计算能力的需求，其特征在于：将训练数据进行“检索问题+输出答案”、“检索问题+检索结果列表”、“检索结果列表+输出答案”的重新分组，用于分别判断语言大模型的答案相关性、答案忠实性和上下文相关性。

2.根据权利要求1所述的一种基于分支式拼接的低成本检索增强生成评测方法，其特征在于，所述答案相关性的判断为：输入的数据为“检索问题+输出答案”，使用词袋模型和TF-IDF模型互补地评判答案与问题之间的相关性，当针对简单的文本表示和处理时，使用词袋模型+余弦相似度来衡量问题和答案之间的相似性；...

【技术特征摘要】

1.一种基于分支式拼接的低成本检索增强生成评测方法，将标准评测指标与机器学习算法相结合，降低对计算能力的需求，其特征在于：将训练数据进行“检索问题+输出答案”、“检索问题+检索结果列表”、“检索结果列表+输出答案”的重新分组，用于分别判断语言大模型的答案相关性、答案忠实性和上下文相关性。

2.根据权利要求1所述的一种基于分支式拼接的低成本检索增强生成评测方法，其特征在于，所述答案相关性的判断为：输入的数据为“检索问题+输出答案”，使用词袋模型和tf-idf模型互补地评判答案与问题之间的相关性，当针对简单的文本表示和处理时，使用词袋模型+余弦相似度来衡量问题和答案之间的相似性；当针对需要考虑词在全局语料库中重要性时，使用tf-idf模型+jaccard相似度来衡量问题和答案之间的相似性。

3.根据权利要求2所述的一种基于分支式拼接的低成本检索增强生成评测方法，其特征在于，使用词袋模型+余弦相似度来衡量问题和答案之间的相似性的具体方法为：

4.根据权利要求2所述的一种基于分支式拼接的低成本检索增强生成评测方法，其特征在于，使用tf-idf模型+jaccard相似度来衡量问题和答案之间的相似性的具体方法为：

5.根据权利...

【专利技术属性】
技术研发人员：陶玥，何一名，张丹，张学强，董晓飞，
申请(专利权)人：南京新一代人工智能研究院有限公司，
类型：发明
国别省市：