一种基于正负相关样例微调大模型的领域意图识别方法技术

本发明专利技术公开了一种基于正负相关样例微调大模型的领域意图识别方法，步骤如下：S1、句向量生成，通过行业的无标签数据微调一个行业特定的embedding模型；S2、通过步骤S1得到的embedding模型生成行业有标签数据的向量并构建向量索引库；S3、构建候选意图及例句，基于索引库进行相似句检索，生成当前样本的候选意图及例句；S4、大模型微调，构造微调数据进行大模型微调。本发明专利技术在依赖大模型做意图识别或分类的场景中，能够解决由于行业信息的缺失导致大模型在特定领域或行业下的意图识别能力有限的问题，通过在特定行业数据下微调大模型，提升行业的识别效果；对于意图数量较多的行业，也能达到不错的识别效果。

【技术实现步骤摘要】

本专利技术属于数据处理，具体地说是一种基于正负相关样例微调大模型的领域意图识别方法。

技术介绍

1、在智能客服应用中，对话机器人的核心模块是意图识别，旨在理解用户问句并给出正确的意图类别，对于不同的行业，定义的意图集合都有所不同。在大模型出现之前，意图识别大多使用传统的深度学习模型或bert类的预训练语言模型，而这些模型需要行业特定的数据进行训练或微调。模型效果依赖于数据的质量和丰富度，特别是在意图类别较多的情况下，数据不平衡是一个常见问题，数据量少的意图往往识别效果有限；且传统模型的规模与复杂度也限制了模型的能力。

2、而由于大模型在预训练阶段和指令微调阶段已经整合了大规模数据的相关知识，模型已经具有一定的表达能力，在预测阶段，可以直接基于指令提示词进行分类。而对于包含几百甚至几千个意图的行业场景，由于上下文长度的限制，可能无法在提示词中给出所有的意图名称，且模型容易出现遗忘。为了解决多意图的问题，可以通过检索增强生成rag(retrieval-augmented generation)的方式，检索当前用户问句的相似句及对应意图，限制提供给大本文档来自技高网...

【技术保护点】

1.一种基于正负相关样例微调大模型的领域意图识别方法，其特征在于，其步骤如下：

2.根据权利要求1所述的基于正负相关样例微调大模型的领域意图识别方法，其特征在于：所述步骤S1在句向量生成阶段，旨在为行业语料和用户问句query生成向量表征，为后续的检索阶段提供输入数据；虽然存在一些通用的用于检索的embedding模型，但是对于特定行业的检索能力仍是有限的；为了增强特定垂直领域的召回和检索能力，需要行业特定的embedding模型。

3.根据权利要求2所述的基于正负相关样例微调大模型的领域意图识别方法，其特征在于：

4.根据权利要求1所述的基于正负相关...

【技术特征摘要】

1.一种基于正负相关样例微调大模型的领域意图识别方法，其特征在于，其步骤如下：

2.根据权利要求1所述的基于正负相关样例微调大模型的领域意图识别方法，其特征在于：所述步骤s1在句向量生成阶段，旨在为行业语料和用户问句query生成向量表征，为后续的检索阶段提供输入数据；虽然存在一些通用的用于检索的embedding模型，但是对于特定行业的检索能力仍是有限的；为了增强特定垂直领域的召回和检索能力，需要行业特定的embedding模型。

3.根据权利要求2所述的基于正负相关样例微调大模型的领域意图识别方法，其特征在于：

4.根据权利要求1所述的基于正负相关样例微调大模型的领域意图识别方法，其特征在于：所述步骤s2中在构建向量索引阶段，将通过步骤1生成的语料库向量入库，生成向量索引。

5.根据权利要求4所述的基于正负相关样例微调大模型的领域意图识别方法，其特征在于：所述步骤s2中具体的执行步骤如下：

6.根据权利要求1所述的基于正负相关样例微调大模型的领域意图识别方法，其特征在于：所述步骤s3中利用大模型进行意图分类时，需要给大模型提供可供选择的意图；在多意图的场景...

【专利技术属性】
技术研发人员：薛亮，
申请(专利权)人：杭州百聆科技有限公司，
类型：发明
国别省市：