一种基于多任务学习的相似性文本意图识别模型训练方法及装置制造方法及图纸

本发明专利技术涉及自然语言处理技术领域，其公开了一种基于多任务学习的相似性文本意图识别模型训练方法及装置，有效解决高相似性文本的语义歧义问题，提升模型对结构相似但意图不同文本的识别能力。本发明专利技术方案中，通过构建语义对抗性训练语料集，利用多重采样策略生成正、负及干扰样本对，设计包含共享编码层的双通道多任务架构，其中第一任务分支通过基于词粒度相似度的对比学习优化语义空间，第二任务分支构建注意力分类网络，再实施分阶段多任务联合训练机制，首阶段用对抗样本提升语义判别力，次阶段结合对比学习与注意力网络提取高混淆样本特征，微调后集成语义向量编码器与分类决策模块，从而获得识别模型。

【技术实现步骤摘要】

本专利技术涉及自然语言处理，具体涉及一种基于多任务学习的相似性文本意图识别模型训练方法及装置。

技术介绍

1、意图识别作为自然语言处理（nlp）领域的关键任务，其核心目标是从用户自然语言输入中解析潜在行为意图，并为下游任务（如对话管理、信息检索）提供结构化语义理解。传统方法主要依赖基于规则的特征工程或浅层机器学习模型（如svm、crf），但受限于语义泛化能力，难以应对复杂的语言变体。近年来，基于transformer架构的深度神经网络（如bert、roberta）通过预训练-微调范式显著提升了意图识别精度，相关技术已广泛应用于智能客服、智能家居控制等场景。

2、尽管现有技术已在多个应用场景中取得一定成效，但在应对结构相似性干扰，决策边界模糊，动态语义飘逸的意图文本时，准确度仍然不足。例如，“打开音乐播放周杰伦的歌”和“你听过周杰伦的歌吗？”尽管文本高度相似，但其语义意图显然不同。传统的分类模型在这类问题上的泛化能力较弱，导致分类结果不够准确。随着大规模预训练模型的快速发展，诸如 m3e、qwen 和 chatgpt 等模型为意图识别提供了强大的本文档来自技高网...

【技术保护点】

1.一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，

2.如权利要求1所述的一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，步骤S1中，所述构建具有语义对抗性的训练语料集，包括：

3.如权利要求2所述的一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，在所述基于预训练语言模型构建对抗样本生成器时，通过反向传播计算文本分类梯度，选择导致最大意图偏移的词语进行替换。

4.如权利要求1所述的一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，步骤S2中，所述基于词粒度相似度的对比学习，包括：

<...

【技术特征摘要】

1.一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，

2.如权利要求1所述的一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，步骤s1中，所述构建具有语义对抗性的训练语料集，包括：

3.如权利要求2所述的一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，在所述基于预训练语言模型构建对抗样本生成器时，通过反向传播计算文本分类梯度，选择导致最大意图偏移的词语进行替换。

4.如权利要求1所述的一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，步骤s2中，所述基于词粒度相似度的对比学习，包括：

5.如权利要求4所述的一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，所述词级相似度的计算方式为：

6.如权利要求1所述的一种基于多任务学习的相似性文本意图识别模型训练方法，其特征在于，所述第二任务分支构建的...

【专利技术属性】
技术研发人员：周鑫，杨兰，李昆，刘峻枫，
申请(专利权)人：四川长虹虹微科技有限公司，
类型：发明
国别省市：