基于损失函数的意图识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了基于损失函数的意图识别方法、装置、设备及存储介质，用于直接计算文本中每个标签对损失函数的影响，提高了模型对多个意图的识别能力。本发明专利技术方法包括：获取待识别文本，待识别文本用于指示目标用户的至少一个意图；调用改进的机器学习模型FastText的输入层对待识别文本进行分词，得到多个分词向量；调用改进的FastText的隐藏层对多个分词向量进行叠加平均，得到文档向量；调用二分类用的交叉熵损失函数BCELoss对文档向量中的每个潜在意图进行计算，得到多个潜在意图的损失值；根据每个潜在意图对应的损失值以及预先设置的阈值对多个潜在意图的损失值进行筛选，基于筛选后的损失值确定待识别文本的多个候选意图标签。

【技术实现步骤摘要】
基于损失函数的意图识别方法、装置、设备及存储介质
本专利技术涉及分类算法
，尤其涉及一种基于损失函数的意图识别方法、装置、设备及存储介质。
技术介绍
在多轮对话系统中自然语言理解(naturallanguageunderstanding，NLU)是机器从用户身上获取信息至关重要的一个步骤。对于文本的意图识别是自然语言理解最常用的方法之一，但是常见的意图识别都局限于一句话对应一个意图，分类器将用户的话分到事先设计好的多个分类中的某一类当中去，也就是多分类方法。而实际的情况是用户的一句话常常表达了不止一个意图，在这种情况下单单只识别意图就无法满足业务需求了。因此，对话系统需要一个可以同时识别用户多种意图的自然语言理解模块，也就是要将传统的单意图识别扩展到多意图识别的领域。而多意图识别在业界一直是一个难题，通常的方法就是使用规则匹配，其原理就是靠人工事先为所有的意图设计关键词，若一句话匹配到了多个关键词就认为命中了多个意图，但这种方式存在扩展性差、人工工作量大，情况覆盖不全等缺点。
技术实现思路
本专利技术提供了一种基于损失函数的意图识别方法、装置、设备及存储介质，用于直接计算文本中每个标签对损失函数的影响，调整文本在所有意图中的概率分布，让所有标签位置上的损失都被计算在内，从而提高标签所在位置的置信度，并降低其余位置的置信度，并提高了模型对多个意图的识别能力。本专利技术实施例的第一方面提供一种基于损失函数的意图识别方法，包括：获取待识别文本，所述待识别文本用于指示目标用户的至少一个意图；调用改进的机器学习模型FastText的输入层对所述待识别文本进行分词，得到多个分词向量；调用所述改进的FastText的隐藏层对所述多个分词向量进行叠加平均，得到文档向量；调用二分类用的交叉熵损失函数BCELoss对所述文档向量中的每个潜在意图进行计算，得到多个潜在意图的损失值；根据每个潜在意图对应的损失值以及预先设置的阈值对所述多个潜在意图的损失值进行筛选，基于筛选后的损失值确定所述待识别文本的多个候选意图标签。可选的，在本专利技术实施例第一方面的第一种实现方式中，所述调用二分类用的交叉熵损失函数BCELoss对所述文档向量中的每个潜在意图进行计算，得到多个潜在意图的损失值，包括：将文档向量输入到改进的FastText中进行负采样，得到多个采样向量；调用分层分类器将所述多个采样向量导入树形结构，得到树形分类结构，所述树形分类结构包括多个潜在意图标签；通过S型阈值函数Sigmoid和二分类用的交叉熵损失函数BCELoss对所述多个潜在意图标签进行计算，得到多个潜在意图的损失值。可选的，在本专利技术实施例第一方面的第二种实现方式中，所述通过S型阈值函数Sigmoid和二分类用的交叉熵损失函数BCELoss对所述多个潜在意图标签进行计算，得到多个潜在意图的损失值，包括：通过阈值函数Sigmoid将多个潜在意图标签的计算概率值y′；根据获取到的真实概率值y和预置BCELoss公式计算多个潜在意图标签的损失值，其中，预置BCELoss公式为l＝-ylogy′-(1-y)log(1-y′)。可选的，在本专利技术实施例第一方面的第三种实现方式中，所述根据每个潜在意图对应的损失值以及预先设置的阈值对所述多个潜在意图的损失值进行筛选，基于筛选后的损失值确定所述待识别文本的多个候选意图标签，包括：获取预先设置的阈值；判断每个潜在意图对应的损失值是否大于所述阈值；若目标损失值大于所述阈值，则将所述目标损失值对应的潜在意图确定为所述待识别文本的候选意图标签，得到多个候选意图标签。可选的，在本专利技术实施例第一方面的第四种实现方式中，所述调用改进的机器学习模型FastText的输入层对所述待识别文本进行分词，得到多个分词向量，包括：通过预置的词袋对所述待识别文本进行分词，得到多个候选词语；调用预置的n元模型对所述多个候选词语进行表征，得到每个候选词语的模型特征；将每个候选词语的模型特征输入到改进的机器学习模型FastText的输入层生成多个分词向量，每个分词向量对应一个候选词语。可选的，在本专利技术实施例第一方面的第五种实现方式中，所述调用所述改进的FastText的隐藏层对所述多个分词向量进行叠加平均，得到文档向量，包括：将多个分词向量按照分词顺序进行排列，得到分词序列；将所述分词序列按照所述分词顺序依次输入到改进的FastText的隐藏层进行平均处理；获取所述改进的FastText的隐藏层的输出结果，得到文档向量。可选的，在本专利技术实施例第一方面的第六种实现方式中，在所述根据每个潜在意图对应的损失值以及预先设置的阈值对所述多个潜在意图的损失值进行筛选，基于筛选后的损失值确定所述待识别文本的多个候选意图标签之后，所述方法还包括：根据多个候选意图标签对待识别文本进行标注。本专利技术实施例的第二方面提供了一种基于损失函数的意图识别装置，包括：获取单元，用于获取待识别文本，所述待识别文本用于指示目标用户的至少一个意图；分词单元，用于调用改进的机器学习模型FastText的输入层对所述待识别文本进行分词，得到多个分词向量；平均单元，用于调用所述改进的FastText的隐藏层对所述多个分词向量进行叠加平均，得到文档向量；计算单元，用于调用二分类用的交叉熵损失函数BCELoss对所述文档向量中的每个潜在意图进行计算，得到多个潜在意图的损失值；筛选单元，用于根据每个潜在意图对应的损失值以及预先设置的阈值对所述多个潜在意图的损失值进行筛选，基于筛选后的损失值确定所述待识别文本的多个候选意图标签。可选的，在本专利技术实施例第二方面的第一种实现方式中，计算单元包括：负采样模块，用于将文档向量输入到改进的FastText中进行负采样，得到多个采样向量；导入模块，用于调用分层分类器将所述多个采样向量导入树形结构，得到树形分类结构，所述树形分类结构包括多个潜在意图标签；计算模块，用于通过S型阈值函数Sigmoid和二分类用的交叉熵损失函数BCELoss对所述多个潜在意图标签进行计算，得到多个潜在意图的损失值。可选的，在本专利技术实施例第二方面的第二种实现方式中，计算模块具体用于：通过阈值函数Sigmoid将多个潜在意图标签的计算概率值y′；根据获取到的真实概率值y和预置BCELoss公式计算多个潜在意图标签的损失值，其中，预置BCELoss公式为l＝-ylogy′-(1-y)log(1-y′)。可选的，在本专利技术实施例第二方面的第三种实现方式中，筛选单元具体用于：获取预先设置的阈值；判断每个潜在意图对应的损失值是否大于所述阈值；若目标损失值大于所述阈值，则将所述目标损失值对应的潜在意图确定为所述待识别文本的候选意图标签，得到多个候选意图标签。可选的，在本专利技术实施例第二方面的第四种实现方式中，分词单元具体用于：通过预置的词袋对所述待识别文本进行分词，得到多个候选词语；调用预置的n元模型对所述多个候选词语进行表征，得到每个候选词语的模型特征；将每个候选词语的模型特征输入到改进的机器学习模型FastText的输入层生成多个分词向量，每个分词本文档来自技高网...

【技术保护点】
1.一种基于损失函数的意图识别方法，其特征在于，包括：/n获取待识别文本，所述待识别文本用于指示目标用户的至少一个意图；/n调用改进的机器学习模型FastText的输入层对所述待识别文本进行分词，得到多个分词向量；/n调用所述改进的FastText的隐藏层对所述多个分词向量进行叠加平均，得到文档向量；/n调用二分类用的交叉熵损失函数BCELoss对所述文档向量中的每个潜在意图进行计算，得到多个潜在意图的损失值；/n根据每个潜在意图对应的损失值以及预先设置的阈值对所述多个潜在意图的损失值进行筛选，基于筛选后的损失值确定所述待识别文本的多个候选意图标签。/n

【技术特征摘要】
1.一种基于损失函数的意图识别方法，其特征在于，包括：
获取待识别文本，所述待识别文本用于指示目标用户的至少一个意图；
调用改进的机器学习模型FastText的输入层对所述待识别文本进行分词，得到多个分词向量；
调用所述改进的FastText的隐藏层对所述多个分词向量进行叠加平均，得到文档向量；
调用二分类用的交叉熵损失函数BCELoss对所述文档向量中的每个潜在意图进行计算，得到多个潜在意图的损失值；
根据每个潜在意图对应的损失值以及预先设置的阈值对所述多个潜在意图的损失值进行筛选，基于筛选后的损失值确定所述待识别文本的多个候选意图标签。


2.根据权利要求1所述的基于损失函数的意图识别方法，其特征在于，所述调用二分类用的交叉熵损失函数BCELoss对所述文档向量中的每个潜在意图进行计算，得到多个潜在意图的损失值，包括：
将文档向量输入到改进的FastText中进行负采样，得到多个采样向量；
调用分层分类器将所述多个采样向量导入树形结构，得到树形分类结构，所述树形分类结构包括多个潜在意图标签；
通过S型阈值函数Sigmoid和二分类用的交叉熵损失函数BCELoss对所述多个潜在意图标签进行计算，得到多个潜在意图的损失值。


3.根据权利要求2所述的基于损失函数的意图识别方法，其特征在于，所述通过S型阈值函数Sigmoid和二分类用的交叉熵损失函数BCELoss对所述多个潜在意图标签进行计算，得到多个潜在意图的损失值，包括：
通过阈值函数Sigmoid将多个潜在意图标签的计算概率值y′；
根据获取到的真实概率值y和预置BCELoss公式计算多个潜在意图标签的损失值，其中，预置BCELoss公式为l＝-ylogy′-(1-y)log(1-y′)。


4.根据权利要求1所述的基于损失函数的意图识别方法，其特征在于，所述根据每个潜在意图对应的损失值以及预先设置的阈值对所述多个潜在意图的损失值进行筛选，基于筛选后的损失值确定所述待识别文本的多个候选意图标签，包括：
获取预先设置的阈值；
判断每个潜在意图对应的损失值是否大于所述阈值；
若目标损失值大于所述阈值，则将所述目标损失值对应的潜在意图确定为所述待识别文本的候选意图标签，得到多个候选意图标签。


5.根据权利要求1所述的基于损失函数的意图识别方法，其特征在于，所述调用改进的机器学习模型FastText的输入层对...

【专利技术属性】
技术研发人员：阮晓义，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44