意图识别方法、装置、对话机器人和计算机可读存储介质制造方法及图纸

本申请涉及一种意图识别方法、装置、对话机器人、计算机设备和计算机可读存储介质，其中，该意图识别方法包括：待识别文本获取步骤，用于获取一待识别文本并设置候选意图，所述候选意图个数为N；向量表示步骤，用于经一文本转换器将所述待识别文本中每一字转换为相应的字向量后，通过一双向循环神经网络及池化层对所述字向量进行特征提取、池化得到所述待识别文本的句向量，并经一复合线性层将所述句向量的维度转换为N，得到一N维句向量；归一化步骤，用于将所述N维句向量经一Softmax层进行归一化处理，从而识别得到每一候选意图及其概率，从而得到用户问句所对应的意图。通过本申请，提高意图识别精确度，同时降低训练成本、提高训练效率。

【技术实现步骤摘要】
意图识别方法、装置、对话机器人和计算机可读存储介质
本申请涉及人工智能
，特别是涉及意图识别方法、装置、对话机器人、计算机设备和计算机可读存储介质。
技术介绍
近年来，随着深度学习技术的发展，各种基于深度学习的前沿技术被应用于自然语言处理中。其中，对话机器人是自然语言处理的一个分支，特别是垂直领域下的对话机器人，如淘宝购物中的阿里小蜜，已在业界有广泛的应用。意图识别属于自然语言处理中的文本分类问题，是对话机器人中一个重要的模块，它负责从用户的输入中提取意图，并给后续操作，如知识图谱推理，提供明确的方向，因此该模块需要极高的精确度。文本分类问题主要包括：第一部分为特征提取，其在该领域下主要有两种方案：基于词频的特征、基于embedding的特征，词频特征可以通过统计词在每句中出现的概率得到，而embedding特征需要通过一些技术如Word2Vec或BERT(BidirectionalEncoderRepresentationfromTransformers)词向量化模型实现文本转换。第二部分为模型分类器，其主要可以分为两块：基于传统机器学习的分类器，如逻辑回归，朴素贝叶斯等；基于深度学习的分类器，如卷积神经网络，循环神经网络(RecurrentNeuralNetwork，简称RNN)等。第三部分，为了满足不同业务上的需求，在提取特征前和得到模型结果后会添加一些业务逻辑。目前业界比较成熟的方案为从用户输入的句子中提取词频特征并将其输入传统机器学习模型，结合模型输出和业务规则得到最终意图。另一种相对前沿，但在业界没有大规模采用的方案为：将句子输入BERT得到词向量，然后将得到的词向量输入LSTM(LongShort-TermMemory，长短期记忆网络)模型，得到每一层输出并对每一层的输出做聚合操作得到最后的M维向量，其中M为目标意图的个数。上述相关技术中，基于词频的特征虽然工业化程度高，可解释性强，但是其存在维度爆炸问题。特征维度完全取决于词汇表长度，需要在机器上开辟大量的存储空间。与此同时，在如此量级的特征数下，模型拟合速度也相对比较缓慢，因此只能选择相对简单的分类器，所以精度不会特别高。同样，BERT作为2018年提出的训练词向量技术，虽然能解决维度爆炸问题，但有一个致命的缺点，其最小的模型都有上亿级别的参数数量，因而导致训练模型需要耗费大量的时间和GPU资源，同时其响应速度相对于较为朴素的分类器慢一个级别。另外，LSTM作为上个世纪提出的模型，虽然有效，但存在模型训练缓慢和响应速度缓慢的问题。因此，利用上述现有技术实现意图识别响应速度缓慢，效率、精度较低，而且训练成本高。
技术实现思路
本申请实施例提供了一种意图识别方法、装置、对话机器人、计算机设备和计算机可读存储介质，提高意图识别精确度，同时降低训练成本、提高训练效率。第一方面，本申请实施例提供了一种意图识别方法，包括：待识别文本获取步骤，用于获取一待识别文本并设置候选意图，所述候选意图个数为N；向量表示步骤，用于经一文本转换器将所述待识别文本中每一字转换为相应的字向量后，通过一双向循环神经网络及池化层对所述字向量进行特征提取、池化得到所述待识别文本的句向量，并经一复合线性层将所述句向量的维度转换为N，得到一N维句向量；归一化步骤，用于将所述N维句向量经一Softmax层进行归一化处理，从而识别得到每一候选意图及其概率，从而得到用户问句所对应的意图；其中，所述N为自然数；通过上述步骤，基于字实现文本切词、向量转换，每一个字对应一个向量，提高切词具有正确率高。在其中一些实施例中，所述意图识别方法进一步包括：结果输出步骤，用于选取所述候选意图中概率最高的候选意图作为识别结果。在其中一些实施例中，所述向量表示步骤进一步包括：字向量获取步骤，用于经一文本转换器将所述待识别文本映射为对应的字向量，具体的，所述文本转换器包括但不限于ALBERT模型(ALiteBERT)、XLNET模型、ERINE模型(EnhancedLanguageRepresentationwithInformativeEntities)，采用上述ALBERT模型、XLNET模型或ERINE模型实现文本动态向量转换，一方面，该模型考虑长距离信息，所得到的字向量在不同上下文环境下对应的结果是不同的，实现了对存在一词多义的文本的转换，同时上述模型还考虑到文末信息中一些代词等包含文首文字的信息关系，因此，字向量可更多方面的表征该字的特征；另一方面，上述模型的训练成本降低，提高响应速度；句向量获取步骤，用于经所述双向循环神经网络获取所述字向量的前向信息向量和后向信息向量并将二者拼接为一特征向量，再经一池化层对所述特征向量进行池化，池化后的所述特征向量为所述待识别文本的句向量；向量维度转换步骤，用于经一复合线性层将所述句向量转换为所述N维向量。通过上述步骤，利用池化层和线性层提高了本实施例的识别方法表现力。在其中一些实施例中，所述句向量获取步骤中，所述双向循环神经网络采用但不限于双向GRU网络(GateRecurrentUnit，简称GRU)，利用所述双向GRU网络，考虑文本中的前向信息和后向信息，同时，双向GRU网络提高了数据传递速度，有效提升本实施例的响应速度和精度，也有助于提高拟合效果。在其中一些实施例中，所述池化层进一步包括：最大池化层MaxPooling、平均池化层AvgPooling，用于对所述特征向量中每一列分别取最大值和平均值，得到二池化后的特征向量后，并经拼接二所述池化后的特征向量得到所述句向量。在其中一些实施例中，所述复合线性层至少包括：Dropout层、批标准化层batchNormalization、激活函数ActivationFunction其一或其任意组合。第二方面，本申请实施例提供了一种意图识别装置，用于实现如上述第一方面所述的意图识别方法，所述装置包括：一待识别文本获取模块，用于获取一待识别文本并设置候选意图，所述候选意图个数为N；一向量表示模块，用于经一文本转换器将所述待识别文本中每一字转换为响应的字向量后，通过一双向循环神经网络及池化层对所述字向量进行特征提取、池化得到所述待识别文本的句向量，并经一复合线性层将所述句向量的维度转换为N，得到一N维句向量；一归一化模块，用于将所述N维句向量经一Softmax层进行归一化处理，从而识别得到每一候选意图及其概率，从而得到用户问句所对应的意图，其中，所述N为自然数。在其中一些实施例中，所述意图识别装置进一步包括：一结果输出模块，用于选取归一化模块得到的概率最高的候选意图为识别结果。在其中一些实施例中，所述向量表示模块进一步包括：一字向量获取模块，用于经一文本转换器将所述待识别文本映射为对应的字向量，具体的，所述文本转换器包括但不限于ALBERT模型、XLNET模型、ERINE模型；一句向量获取模块，用于经所本文档来自技高网...

【技术保护点】
1.一种意图识别方法，其特征在于，包括：/n待识别文本获取步骤，用于获取一待识别文本并设置候选意图，所述候选意图个数为N；/n向量表示步骤，用于经一文本转换器将所述待识别文本中每一字转换为相应的字向量后，通过一双向循环神经网络及池化层对所述字向量进行特征提取、池化得到所述待识别文本的句向量，并经一复合线性层将所述句向量的维度转换为N，得到一N维句向量；/n归一化步骤，用于将所述N维句向量经一Softmax层进行归一化处理，从而识别得到每一候选意图及其概率；/n其中，所述N为自然数。/n

【技术特征摘要】
1.一种意图识别方法，其特征在于，包括：
待识别文本获取步骤，用于获取一待识别文本并设置候选意图，所述候选意图个数为N；
向量表示步骤，用于经一文本转换器将所述待识别文本中每一字转换为相应的字向量后，通过一双向循环神经网络及池化层对所述字向量进行特征提取、池化得到所述待识别文本的句向量，并经一复合线性层将所述句向量的维度转换为N，得到一N维句向量；
归一化步骤，用于将所述N维句向量经一Softmax层进行归一化处理，从而识别得到每一候选意图及其概率；
其中，所述N为自然数。


2.如权利要求1所述的意图识别方法，其特征在于，所述方法进一步包括：
结果输出步骤，用于选取所述候选意图中概率最高的候选意图作为识别结果。


3.如权利要求2所述的意图识别方法，其特征在于，所述向量表示步骤进一步包括：
字向量获取步骤，用于经一文本转换器将所述待识别文本映射为对应的字向量，具体的，所述文本转换器包括但不限于ALBERT模型、XLNET模型、ERINE模型；
句向量获取步骤，用于经所述双向循环神经网络获取所述字向量的前向信息向量和后向信息向量并将二者拼接为一特征向量，再经一池化层对所述特征向量进行池化，池化后的所述特征向量为所述待识别文本的句向量；
向量维度转换步骤，用于经一复合线性层将所述句向量转换为所述N维向量。


4.如权利要求3所述的意图识别方法，其特征在于，所述句向量获取步骤中，所述双向循环神经网络采用但不限于双向GRU网络。


5.如权利要求3所述的意图识别方法，其特征在于，所述池化层进一步包括：最大池化层MaxPooling、平均池化层AvgPooling，用于对所述特征向量中每一列分别取最大...

【专利技术属性】
技术研发人员：郑悦，江丹丹，景艳山，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：北京;11