意图识别方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术涉及人工智能技术领域，提供一种意图识别方法、装置、设备及计算机可读存储介质，该方法包括：通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；基于第二语言模型和所述标注训练文本构造注意力神经网络模型；获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。本发明专利技术通过神经网络的方式进行特征提取，可以更全面的考虑文本特点，提高了意图识别的准确性。

Intention recognition method, device, equipment and computer-readable storage medium

【技术实现步骤摘要】
意图识别方法、装置、设备及计算机可读存储介质
本专利技术涉及人工智能
，尤其涉及一种意图识别方法、装置、设备及计算机可读存储介质。
技术介绍
自然语言处理(NaturalLanguageProcessing，简写NLP)是计算机接受用户自然语言形式的输入，并在内部通过人类所定义的算法进行加工、计算等系列操作，以模拟人类对自然语言的理解，并返回用户所期望的结果的过程。其中意图识别为NLP中常见的任务，常见的意图识别场景是由终端对两个(或多个)文本进行比对分析，判断这两个文本是否表达相同的意思；在意图识别过程中，需要进行句子要素对齐，并根据对齐情况分析文本意图的相似性。传统的句子要素对齐是通过分词工具对句子进行分词，然后再将分词后的片段与另一个句子分词之后的片段进行匹配，并根据匹配结果来确定是否这两个片段能否对应得上；这些传统方法对分词工具较大的依赖性，且这些分词工具往往是通过人工特征工程的方式构建，因此传统方法容易受到已有经验的限制，导致对齐处理的准确性较差，进而影响后续意图识别的准确性。
技术实现思路
本专利技术的主要目的在于提供一种意图识别方法、装置、设备及计算机可读存储介质，旨在解决文本对齐准确性差、进而影响意图识别结果的技术问题。为实现上述目的，本专利技术实施例提供一种意图识别方法，所述意图识别方法包括：通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；基于第二语言模型和所述标注训练文本构造注意力神经网络模型；获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。此外，为实现上述目的，本专利技术实施例还提供一种意图识别装置，所述意图识别装置包括：文本标注模块，用于通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；模型构造模块，用于基于第二语言模型和所述标注训练文本构造注意力神经网络模型；特征提取模块，用于获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；意图识别模块，用于根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。此外，为实现上述目的，本专利技术实施例还提供一种意图识别设备，所述意图识别设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上述的意图识别方法的步骤。此外，为实现上述目的，本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述的意图识别方法的步骤。本专利技术实施例先通过语言模型标注的方式获得标注训练文本，并用以构建注意力神经网络模型；而在获得标注训练文本的过程是基于字向量的方式进行，有利于提高特征提取和特征存储的效率，同时还有利于节约存储空间，此外，由于字向量的细粒度较词向量而言更高，因而可提高后续文本标注(分类)及意图识别的准确性；然后通过注意力神经网络模型的方式对待识别(对齐)文本进行特征提取，并根据提取的特征对待识别文本进行要素对齐，分析待识别文本之间的匹配性，从而判断待识别文本是否对应同一表达意图；与现有方法相比，本实施例通过神经网络的方式进行特征提取具有更强的特征提取能力，从而可以更全面的考虑文本特点，避免了人为经验带来的误差，提高了意图识别的准确性，此外还有利于提高意图识别的效率。附图说明图1为本专利技术实施例方案中涉及的意图识别设备的硬件结构示意图；图2为本专利技术意图识别方法第一实施例的流程示意图；图3为本专利技术意图识别方法第二实施例的流程示意图；图4为本专利技术意图识别方法第三实施例涉及的识别结果显示示意图；图5为本专利技术意图识别装置第一实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术实施例涉及的意图识别方法主要应用于意图识别设备，该意图识别设备可以是服务器、个人计算机(personalcomputer，PC)、笔记本电脑等具有数据处理功能的设备。参照图1，图1为本专利技术实施例方案中涉及的意图识别设备的硬件结构示意图。本专利技术实施例中，该意图识别设备可以包括处理器1001(例如中央处理器CentralProcessingUnit，CPU)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真WIreless-FIdelity，WI-FI接口)；存储器1005可以是高速随机存取存储器(randomaccessmemory，RAM)，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本专利技术的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、网络通信模块以及计算机程序。在图1中，网络通信模块可用于连接预设数据库，与数据库进行数据通信；而处理器1001可以调用存储器1005中存储的计算机程序，并执行本专利技术实施例提供的意图识别方法。基于上述的硬件架构，提出本专利技术意图识别方法的各实施例。本专利技术实施例提供了一种意图识别方法。参照图2，图2为本专利技术意图识别方法第一实施例的流程示意图。本实施例中，所述意图识别方法包括以下步骤：步骤S10，通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；意图识别为自然语言处理(NaturalLanguageProcessing，简写NLP)中常见的任务，常见的意图识别场景是由终端对两个(或多个)文本进行比对分析，判断这两个文本是否表达相同的意思；在意图识别过程中，需要进行句子要素对齐，并根据对齐情况分析文本意图的相似性。传统的句子要素对齐是通过分词工具对句子进行分词，然后再将分词后的片段与另一个句子分词之后的片段进行匹配，并根据匹配结果来确定是否这两个片段能否对应得上；这些传统方法对分词工具较大的依赖性，且这些分词工本文档来自技高网...

【技术保护点】
1.一种意图识别方法，其特征在于，所述意图识别方法包括：/n通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；/n基于第二语言模型和所述标注训练文本构造注意力神经网络模型；/n获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；/n根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。/n

【技术特征摘要】
1.一种意图识别方法，其特征在于，所述意图识别方法包括：
通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本；
基于第二语言模型和所述标注训练文本构造注意力神经网络模型；
获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取，得到候选特征集；
根据所述候选特征集计算所述待识别文本的相似度，并根据所述相似度判断所述待识别文本是否对应同一表达意图，得到意图识别结果。


2.如权利要求1所述的意图识别方法，其特征在于，所述通过第一语言模型对无标记文本进行字向量特征提取，得到无标记特征，并根据所述无标记特征对所述无标记文本进行标注，得到标注训练文本的步骤之后，还包括：
基于复合决策规则对所述标注训练文本进行投票决策，以判断所述标注训练文本是否有效；
所述基于第二语言模型和所述标注训练文本构造注意力神经网络模型的步骤包括：
若所述标注训练文本有效，则基于第二语言模型和所述标注训练文本构造注意力神经网络模型。


3.如权利要求2所述的意图识别方法，其特征在于，所述基于复合决策规则对所述标注训练文本进行投票决策，以判断所述标注训练文本是否有效的步骤之后，还包括：
若所述标注训练文本无效，则输出对应的人工标注提示；
在接收到基于所述人工标注提示输入的人工标注时，根据所述人工标注对所述标注训练文本进行校正；
所述基于第二语言模型和所述标注训练文本构造注意力神经网络模型的步骤还包括：
基于第二语言模型和校正后的标注训练文本构造注意力神经网络模型。


4.如权利要求1所述的意图识别方法，其特征在于，所述注意力神经网络模型的损失函数为:
loss(t)＝loss(attention)+λ*loss(sentence)+γ*L1_norm(attention_p)
其中，loss(t)为所述第一语言模型的总损失；
loss(attention)为对齐损失；
loss(sentence)为句子分类损失；
attention_p为所述注意力神经网络模型中的注意力attention的预测值；
λ、γ为预设参数，且均大于零并小于1。


5.如权利要求1所述的意图识别方法，其特征在于，所述获取待识别文本，并通过所述注意力神经网络模型对所述待识别文本进行特征提取...

【专利技术属性】
技术研发人员：曾博，许开河，王少军，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44