意图识别方法、装置、计算机设备及存储介质制造方法及图纸

发明专利技术公开了一种意图识别方法、装置、计算机设备及存储介质，包括：获取样本数据，采用初始bert网络模型对样本数据进行特征提取，得到特征数据，采用复合损失函数，基于特征数据计算损失值，其中，复合损失函数基于三元损失函数和分类交叉熵构建，基于损失值对初始bert网络模型进行反向传播训练，直到损失值小于预设阈值，得到训练好的bert网络模型，将训练好的bert网络模型作为目标意图识别模型，采用目标意图识别模型进行意图识别。实现按数据进行度量归类后计算损失，这种方式训练得到的目标意图识别模型对于分布不均匀的样本数据有较好的兼容性，提升训练得到模型进行意图识别的准确率。确率。确率。

【技术实现步骤摘要】
意图识别方法、装置、计算机设备及存储介质


[0001]本专利技术涉及自然语言处理领域，尤其涉及一种意图识别方法、装置、计算机设备及介质。

技术介绍

[0002]随着人工智能技术的快速发展，采用智能化手段进行任务处理应用的越来越广泛，在一些智能问答中，需要对用户意图进行识别，在对话系统中，用户意图识别结果是系统用于机器动作决策的关键输入，通常是以“动词+名词”命名，例如查询相关病例症状等。就目前现有的意图识别技术，学术界和工业界通常是将用户意图识别作为分类问题，即将用户话语分类到预先定义好的意图类别中，其主要包括基于规则的意图识别技术、基于统计机器学习的意图识别技术以及基于深度学习的意图识别技术。
[0003]专利技术人在实现本专利技术的过程中，意识到现有技术至少存在如下技术问题：基于规则的用户意图识别技术，如：通过对历史数据进行统计生成映射规则，存在缺点：1、基于机器学习技术的对话技术算法存在计算复杂性和领域依赖性。2、利用有监督学习，大量的基于现有数据集资源，对计算资源要求相对较高，数据量较少的情况小，极易容易过拟合，这些方法都不能准本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种意图识别方法，其特征在于，包括：获取样本数据；采用初始bert网络模型对所述样本数据进行特征提取，得到特征数据；采用复合损失函数，基于所述特征数据计算损失值，其中，所述复合损失函数基于三元损失函数和分类交叉熵构建，其中，所述复合损失函数为：LOSS=H（p,q）+w*L
tripletlos
，H（p,q）为分类交叉熵函数，L
tripletlos
为三元损失函数，p和q分别为分类真和假的概率分布，w为超参数，且所述w在训练过程中线性衰弱；基于所述损失值对所述初始bert网络模型进行反向传播训练，直到所述损失值小于预设阈值，得到训练好的bert网络模型，将所述训练好的bert网络模型作为目标意图识别模型；采用所述目标意图识别模型进行意图识别。2.如权利要求1所述的意图识别方法，其特征在于，所述三元损失函数为：L
tripletloss
=max(d(a,m)
‑
d(a,n)+margin,0)其中，a为基准样本的锚样本、m为正样本，n为负样本，d()为距离函数，margin为一个大于0的参数，所述margin用于拉进锚样本a和所述正样本m的距离，拉远所述锚样本a和所述负样本n的距离。3.权利要求2所述的意图识别方法，其特征在于，所述分类交叉熵函数为：其中，H（p,q）为分类交叉熵函数，x
i
为第i个样本，s为样本数量，p和q分别为分类真和假的概率分布。4.如权利要求1至3任一项所述的意图识别方法，其特征在于，所述初始bert网络模型基于Transformer架构，采用多头注意力机制。5.如权利要求4所述的意图识别方法，其特征在于，采用初始bert网络模型对所述样本数据进行特征提取，得到特征数据包括：通过如下公式计算第j个注意力模块的编码信息head
j
：其中，Attention为注意力计算...

【专利技术属性】
技术研发人员：刘伟华，左勇，马金民，林超超，
申请(专利权)人：智慧眼科技股份有限公司，
类型：发明
国别省市：