一种基于开源大模型的垂直领域意图识别方法技术

本发明专利技术公开了一种基于开源大模型的垂直领域意图识别方法，步骤如下：准备Pre‑training语料；基于构建好的行业语料库进行Pre‑training；基于自身的对话数据构造标注数据；基于构造好的标注数据进行Fine‑tune；基于原有的开源模型的评估数据集和自身构建的评估数据集进行模型效果的评估；启动Fine‑tune后的模型，将意图识别任务的模板固化，针对输入的对话采用实体识别的Prompt模板来和模型交互，输出格式化的JSON数据，得到模型的结果。本发明专利技术面向行业的通用的意图识别能力，支持多意图的同时识别，能够高质量、快速的支持面向行业的意图识别任务，降低意图识别的模型难度，能低成本的解决意图识别的潜在问题。

【技术实现步骤摘要】

本专利技术属于数据处理，具体涉及一种基于开源大模型的垂直领域意图识别方法。

技术介绍

1、ic(intent classification)即意图识别，是nlp(natural languageprocessing)自然语言处理领域里面的重要任务，如何有效的进行意图识别是该领域的一个重要方向，其识别效果直接决定下游的效果，例如在对胡领域、智能客服领域。特别是在垂直领域任务中，例如线上智能销售、医疗助手、财务助手等不同领域，需要基于明确的意图结果来进行相关的处理，识别结果的准确率和召回率对于后续的处理效果影响巨大，如果识别错误会产生巨大的负面影响，如何在保障准确率的前提下逐步提升召回率是当前的一个行业痛点。

2、特别是针对网络化、口语化、地域化等场景，例如在当前如火如荼的短视频和直播领域，用户的表达方式更为随意，识别的难度在逐步加大。传统方法需要依赖大量的规则、标注数据来进行识别模型的逐步提升，其核心的本质原因在于原有模型对于现实世界的认知不足，所能容纳的语义空间有限，针对未登录内容不能很好的理解，不能很好的处理这类任务，整体的优化维护成本较高。本文档来自技高网...

【技术保护点】

1.一种基于开源大模型的垂直领域意图识别方法，其特征在于，步骤如下：

2.根据权利要求1所述的一种基于开源大模型的垂直领域意图识别方法，其特征在于：步骤一具体是指针对当前的行业准备这个行业相关实体和对话的语料，尽可能的提供更多的语料，但需要确保语料不重复、语料的正确性。

3.根据权利要求1所述的一种基于开源大模型的垂直领域意图识别方法，其特征在于：步骤二中需要考虑要处理的场景，如果是中文场景，需要并基于中文模型基座，选择的是Chinese-LLaMA-Alpaca-2。

4.根据权利要求1所述的一种基于开源大模型的垂直领域意图识别方法，其特征在于：步骤...

【技术特征摘要】

1.一种基于开源大模型的垂直领域意图识别方法，其特征在于，步骤如下：

2.根据权利要求1所述的一种基于开源大模型的垂直领域意图识别方法，其特征在于：步骤一具体是指针对当前的行业准备这个行业相关实体和对话的语料，尽可能的提供更多的语料，但需要确保语料不重复、语料的正确性。

3.根据权利要求1所述的一种基于开源大模型的垂直领域意图识别方法，其特征在于：步骤二中需要考虑要处理的场景，如果是中文场景，需要并基于中文模型基座，选择的是chinese-llama-alpaca-2。

4.根据权利要求1所述的一种基于开源大模型的垂直领域意图识别方法，其特征在于：步骤三中以对话数据进行改造，不以单句输入作为标注数据，每次以对话数据作为待标注数据，基于对话进行标注，即一个n轮的对话可以拆分成n个标注数据，都已当轮加历史对话数据作为输入，标注出到目前为止用户所表达的意图到底是什么，能够解决原有意图识别模型无法做多轮的推理问题。

5.根据权利要求1所述的一种基于开源大模型的垂直领域意图识别方法，其特征在于：步骤四中数据量不得少于20...

【专利技术属性】
技术研发人员：刘广兴，
申请(专利权)人：杭州百聆科技有限公司，
类型：发明
国别省市：