一种基于改进微调、组合检索RAG和Qwen2.5-72B的政务知识实时对话方法技术

本发明专利技术涉及一种基于改进微调、组合检索RAG和Qwen2.5‑72B的政务知识实时对话方法，包括：采集政务对话数据并标注，形成监督数据集，即训练集；利用监督数据集对Qwen2.5‑72B大模型进行微调，使微调后的Qwen2.5‑72B大模型能够更准确地进行政务对话回答；爬取政务相关知识，构建知识问答向量数据保存于LangChain的向量存储器；微调后的Qwen2.5‑72B大模型利用用户查询问句、prompt提示词和组合检索RAG检索出的嵌入向量对应的原文的前5个块生成问询答案。本方案采用Qwen2.5‑72B大模型构建训练集、改进微调、微调后的模型作为嵌入模型、组合检索RAG和构建Prompt提示词，能够提高训练数据质量，更细致地理解数据中的关系和模式来帮助减少偏差，并充分理解用户的对话意图和准确检索，从而显著提高对话应答的精确度。

【技术实现步骤摘要】

本专利技术属于qwen2.5的实时对话领域，特别涉及一种基于改进微调、组合检索rag和qwen2.5-72b的政务知识实时对话方法。

技术介绍

1、在信息技术迅猛发展的当下，人工智能技术在公共管理服务中的应用逐渐增多。对话数据作为公共管理服务的关键组成部分，其精确度与响应速度直接影响着政府服务的品质及公众的满意度。尽管如此，由于政务对话数据的复杂性和多样性，传统的自然语言处理技术在处理此类对话时常常面临准确度不足和响应迟缓的问题。

2、在当前的技术实践中，政务对话数据的处理主要依赖于规则驱动的方法或经典的机器学习模型。规则驱动的方法需要人工创建众多规则模板以适应多样化的对话场景，这种方法不仅工作量巨大、维护成本高昂，而且难以应对政务对话环境的复杂性和变化性。而机器学习模型虽然能够在一定程度上提升对话处理的准确度，但由于其训练过程依赖于大量标注数据，并且对数据的质量和数量有较高要求，因此在实际应用中存在明显的限制。

3、近期，基于深度学习的大规模模型在自然语言处理领域取得了突破性进展。qwen2.5，一个基于transformer架构本文档来自技高网...

【技术保护点】

1.一种基于改进微调、组合检索RAG和Qwen2.5-72B的政务知识实时对话方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于改进微调、组合检索RAG和Qwen2.5-72B的政务知识实时对话方法，其特征在于，步骤1所述采集政务对话数据并标注，形成监督数据集，即训练集的步骤，包括：

3.根据权利要求1所述的一种基于改进微调、组合检索RAG和Qwen2.5-72B的政务知识实时对话方法，其特征在于，步骤3爬取政务相关知识，构建知识问答向量数据保存于LangChain的向量存储器的步骤，包括：

4.根据权利要求1所述的一种基于改进微调、组...

【技术特征摘要】

1.一种基于改进微调、组合检索rag和qwen2.5-72b的政务知识实时对话方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种基于改进微调、组合检索rag和qwen2.5-72b的政务知识实时对话方法，其特征在于，步骤1所述采集政务对话数据并标注，形成监督数据集，即训练集的步骤，包括：

3.根据权利要求1所述的一种基于改进微调、组合检索rag和qwen2.5-72b的政务知识实时对话方法，其特征在于，步骤3爬取政务相关知识，构建知识问答向量数据保存于langchain的向量存储器的步骤，包括：

4.根据权利要求1所述的一种基于改进微调、组合检索rag和qwen2.5-72b的政务知识实时对话方法，其特征在于，步骤4所...

【专利技术属性】
技术研发人员：陈安志，徐梦阳，李贵俊，
申请(专利权)人：四川九锐锋智能科技有限公司，
类型：发明
国别省市：