意图识别方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于人工智能领域，涉及一种意图识别方法、装置、计算机设备及存储介质，方法包括：获取训练文本和全量标签序列；对训练文本和全量标签序列进行交叉编码，得到联合表征向量，并对其中的文本序列表征向量和标签序列表征向量进行注意力交互得到训练文本表征向量；通过初始意图识别模型处理训练文本表征向量，得到多意图预测结果；并通过标签二维共现预测得到二维共现预测结果，通过标签高维共现预测得到高维共现预测结果；基于各预测结果计算联合损失，以调整模型得到意图识别模型；并通过其进行意图识别得到多意图识别结果。此外，本申请还涉及区块链技术，训练文本和全量标签序列可存储于区块链中。本申请提高了意图识别的准确性。识别的准确性。识别的准确性。

【技术实现步骤摘要】
意图识别方法、装置、计算机设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种意图识别方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着计算机技术的发展，通过计算机进行意图识别也变得越来越常见。意图识别通常是将目标对象相关的文本输入神经网络，由神经网络预测目标对象的意图。在实际应用中，文本还可能包含多个意图。
[0003]当前的意图识别技术，在训练中通常仅仅专注于文本的上下文交互，没有充分使用标签，特征信息使用较少，使得意图识别的准确性较低。

技术实现思路

[0004]本申请实施例的目的在于提出一种意图识别方法、装置、计算机设备及存储介质，以解决意图识别准确性较低的问题。
[0005]为了解决上述技术问题，本申请实施例提供一种意图识别方法，采用了如下所述的技术方案：
[0006]获取带有意图标签序列的训练文本和全量标签序列；
[0007]将所述训练文本和所述全量标签序列输入初始意图识别模型，以对所述训练文本和所述全量标签序列进行交叉编码，得到联合表征向量；
[0008]对所述联合表征向量中的文本序列表征向量和标签序列表征向量进行注意力交互，得到训练文本表征向量；
[0009]通过所述初始意图识别模型处理所述训练文本表征向量，得到多意图预测结果；
[0010]从所述意图标签序列中随机选取意图标签以将其标签表征向量作为第一向量，并从所述全量标签序列中随机选取意图标签以将其标签表征向量作为第二向量；其中，标签表征向量为对意图标签交叉编码后得到的向量；
[0011]将所述第一向量和所述第二向量拼接后输入标签二维共现预测模型，得到二维共现预测结果；
[0012]从所述意图标签序列中随机选取预设数量的意图标签作为高维预测标签，以根据其标签表征向量计算融合向量，并将所述全量标签序列中各高维预测标签以外的意图标签的标签表征向量设置为补集向量；
[0013]将所述融合向量与各补集向量拼接后输入标签高维共现预测模型，得到高维共现预测结果；
[0014]基于所述多意图预测结果、所述二维共现预测结果和所述高维共现预测结果计算联合损失；
[0015]根据所述联合损失对所述初始意图识别模型进行调整，直至所述联合损失满足训练停止条件，得到意图识别模型；
[0016]通过所述意图识别模型对待识别文本进行意图识别，得到多意图识别结果。
[0017]为了解决上述技术问题，本申请实施例还提供一种意图识别装置，采用了如下所述的技术方案：
[0018]获取模块，用于获取带有意图标签序列的训练文本和全量标签序列；
[0019]交叉编码模块，用于将所述训练文本和所述全量标签序列输入初始意图识别模型，以对所述训练文本和所述全量标签序列进行交叉编码，得到联合表征向量；
[0020]向量交互模块，用于对所述联合表征向量中的文本序列表征向量和标签序列表征向量进行注意力交互，得到训练文本表征向量；
[0021]意图预测模块，用于通过所述初始意图识别模型处理所述训练文本表征向量，得到多意图预测结果；
[0022]二维选取模块，用于从所述意图标签序列中随机选取意图标签以将其标签表征向量作为第一向量，并从所述全量标签序列中随机选取意图标签以将其标签表征向量作为第二向量；其中，标签表征向量为对意图标签交叉编码后得到的向量；
[0023]二维预测模块，用于将所述第一向量和所述第二向量拼接后输入标签二维共现预测模型，得到二维共现预测结果；
[0024]高维选取模块，用于从所述意图标签序列中随机选取预设数量的意图标签作为高维预测标签，以根据其标签表征向量计算融合向量，并将所述全量标签序列中各高维预测标签以外的意图标签的标签表征向量设置为补集向量；
[0025]高维预测模块，用于将所述融合向量与各补集向量拼接后输入标签高维共现预测模型，得到高维共现预测结果；
[0026]损失计算模块，用于基于所述多意图预测结果、所述二维共现预测结果和所述高维共现预测结果计算联合损失；
[0027]模型调整模块，用于根据所述联合损失对所述初始意图识别模型进行调整，直至所述联合损失满足训练停止条件，得到意图识别模型；
[0028]意图识别模块，用于通过所述意图识别模型对待识别文本进行意图识别，得到多意图识别结果。
[0029]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0030]获取带有意图标签序列的训练文本和全量标签序列；
[0031]将所述训练文本和所述全量标签序列输入初始意图识别模型，以对所述训练文本和所述全量标签序列进行交叉编码，得到联合表征向量；
[0032]对所述联合表征向量中的文本序列表征向量和标签序列表征向量进行注意力交互，得到训练文本表征向量；
[0033]通过所述初始意图识别模型处理所述训练文本表征向量，得到多意图预测结果；
[0034]从所述意图标签序列中随机选取意图标签以将其标签表征向量作为第一向量，并从所述全量标签序列中随机选取意图标签以将其标签表征向量作为第二向量；其中，标签表征向量为对意图标签交叉编码后得到的向量；
[0035]将所述第一向量和所述第二向量拼接后输入标签二维共现预测模型，得到二维共现预测结果；
[0036]从所述意图标签序列中随机选取预设数量的意图标签作为高维预测标签，以根据其标签表征向量计算融合向量，并将所述全量标签序列中各高维预测标签以外的意图标签的标签表征向量设置为补集向量；
[0037]将所述融合向量与各补集向量拼接后输入标签高维共现预测模型，得到高维共现预测结果；
[0038]基于所述多意图预测结果、所述二维共现预测结果和所述高维共现预测结果计算联合损失；
[0039]根据所述联合损失对所述初始意图识别模型进行调整，直至所述联合损失满足训练停止条件，得到意图识别模型；
[0040]通过所述意图识别模型对待识别文本进行意图识别，得到多意图识别结果。
[0041]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0042]获取带有意图标签序列的训练文本和全量标签序列；
[0043]将所述训练文本和所述全量标签序列输入初始意图识别模型，以对所述训练文本和所述全量标签序列进行交叉编码，得到联合表征向量；
[0044]对所述联合表征向量中的文本序列表征向量和标签序列表征向量进行注意力交互，得到训练文本表征向量；
[0045]通过所述初始意图识别模型处理所述训练文本表征向量，得到多意图预测结果；
[0046]从所述意图标签序列中随机选取意图标签以将其标签表征向量作为第一向量，并从所述全量标签序列中随机选取意图标签以将其标签表征向量作为第二向量；其中，标签表征向量为对意图标签交叉编码后得到的向量；
[0047]将所述第一向量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种意图识别方法，其特征在于，包括下述步骤：获取带有意图标签序列的训练文本和全量标签序列；将所述训练文本和所述全量标签序列输入初始意图识别模型，以对所述训练文本和所述全量标签序列进行交叉编码，得到联合表征向量；对所述联合表征向量中的文本序列表征向量和标签序列表征向量进行注意力交互，得到训练文本表征向量；通过所述初始意图识别模型处理所述训练文本表征向量，得到多意图预测结果；从所述意图标签序列中随机选取意图标签以将其标签表征向量作为第一向量，并从所述全量标签序列中随机选取意图标签以将其标签表征向量作为第二向量；其中，标签表征向量为对意图标签交叉编码后得到的向量；将所述第一向量和所述第二向量拼接后输入标签二维共现预测模型，得到二维共现预测结果；从所述意图标签序列中随机选取预设数量的意图标签作为高维预测标签，以根据其标签表征向量计算融合向量，并将所述全量标签序列中各高维预测标签以外的意图标签的标签表征向量设置为补集向量；将所述融合向量与各补集向量拼接后输入标签高维共现预测模型，得到高维共现预测结果；基于所述多意图预测结果、所述二维共现预测结果和所述高维共现预测结果计算联合损失；根据所述联合损失对所述初始意图识别模型进行调整，直至所述联合损失满足训练停止条件，得到意图识别模型；通过所述意图识别模型对待识别文本进行意图识别，得到多意图识别结果。2.根据权利要求1所述的意图识别方法，其特征在于，所述将所述训练文本和所述全量标签序列输入初始意图识别模型，以对所述训练文本和所述全量标签序列进行交叉编码，得到联合表征向量的步骤包括：根据所述训练文本中的各字符和所述全量标签序列中的各意图标签构建初始序列；将所述初始序列映射为向量序列；将所述向量序列输入编码器，以通过所述编码器中的多个编码层对所述向量序列中的字符向量和标签向量进行交叉编码，得到最后一层编码层输出的文本序列表征向量和标签序列表征向量；将所述文本序列表征向量和所述标签序列表征向量确定为联合表征向量。3.根据权利要求2所述的意图识别方法，其特征在于，所述对所述联合表征向量中的文本序列表征向量和标签序列表征向量进行注意力交互，得到训练文本表征向量的步骤包括：对所述联合表征向量中的标签序列表征向量进行转置，得到转置标签序列表征向量；将所述联合表征向量中的文本序列表征向量与所述转置标签序列表征向量进行点乘运算，得到相关度分数矩阵；所述相关度分数矩阵表征字符与意图标签之间的相关度；将所述相关度分数矩阵输入激活模型，得到第三向量；将所述第三向量输入第一激活函数，并将所述激活函数的函数结果进行转置，得到第
四向量；将所述第四向量与所述文本序列表征向量进行点乘运算，得到训练文本表征向量。4.根据权利要求1所述的意图识别方法，其特征在于，所述通过所述初始意图识别模型处理所述训练文本表征向量，得到多意图预测结果的步骤包括：将所述训练文本表征向量输入所述初始意图识别模型的全连接层，得到第五向量；将所述第五向量输入第二激活函数，得到第六向量；根据所述第六向量中各元素的数值，生成多意图预测结果。5.根据权利要求1所述的意图识别方法，其特征在于，所述基于所述多意图预测结果、所述二维共现预测结果和所述高维共现预测结果计算联合损失的步骤包括：基于所述多意图预测结果和所述意图标签序列计算第一损失；...

【专利技术属性】
技术研发人员：李志韬，王健宗，程宁，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：