一种意图识别方法和意图识别装置制造方法及图纸

本发明专利技术公开了一种意图识别方法和意图识别装置，方法部分包括：获取待识别句子；通过嵌入层将所述待识别句子转化得到第一向量、第二向量和第三向量；分别对所述第一向量和第二向量进行线性映射，得到第一映射向量和第二映射向量；根据所述第一映射向量获取第一注意力向量，并根据第二映射向量获取第二注意力向量；根据所述第一注意力向量获取第一句子向量，并根据所述第二注意力向量获取第二句子向量；根据所述第一句子向量和所述第二句子向量获取目标句子向量；将所述目标句子向量输入Bert模型的线性层进行意图识别，获取意图识别结果。

A method and device of intention recognition

【技术实现步骤摘要】
一种意图识别方法和意图识别装置
本专利技术涉及自然语言处理与神经网络
，尤其涉及一种意图识别方法和意图识别装置。
技术介绍
Transformer模型是谷歌Google公司开发的一种自然语言处理模型(NaturalLanguageProcessing，简称NLP)，是NLP发展的一个重要的创新。Bert模型(BidirectionalEncoderRepresentationsfromTransformers)则基于所述Transformer模型的编码器(encoder)结构，编码器包括多个编码层，一个编码层包括自注意力(self-attention)层、相加&归一化层和全连接前馈神经网络层，而自注意力层由N个ScaledDotProductAttention(SDPA)组件经过堆叠而成，即SDPA为所述Bert模型的组成组件，Bert模型中通过嵌入层对输入句子转化为特征向量后，再通过自注意力机制中的SDPA组件对待识别的句子进行分析并进行最后的意图识别。其中，传统的SDPA组件中，通过如下方式对输入句子进行相关处理得到可以进行意图识别的句子向量：Q＝K＝V＝embedding(sen)；vec＝linear(sum(Attention(Q,K,V),dim＝0))；其中，sen表示输入句子，vec表示最后得到的用于意图识别的句子向量，矩阵Q、矩阵K和矩阵V是输入句子经过嵌入层(embedding)后的向量得到，可见，在传统的SDPA组件中，由于矩阵Q等于矩阵K，矩阵Q与矩阵K的转置的点乘的值是一个对角矩阵，使得该对角矩阵中非对角线的元素来说，一般都会比较小，对于输入向量维度较大的情况下非对角线的元素容易出现为近似0的数。对于两个不同的待识别句子而言，其中一个句子的矩阵Q1与矩阵K1的转置的点乘与另一个句子矩阵Q2与矩阵K2的转置的点乘所对应的距离更小，这限制了对输入句子意图识别的性能，使得得到的句子向量包含的信息较少，影响了最后的句子意图识别准确度。
技术实现思路
本专利技术实施例提供一种意图识别方法、意图识别装置及计算机可读存储介质，以解决现有意图识别性能受限制的问题，以提高句子意图识别的准确度。第一方面，本专利技术实施例提供一种意图识别方法，包括：获取待识别句子；通过嵌入层将所述待识别句子转化得到第一向量、第二向量和第三向量；分别对所述第一向量和第二向量进行线性映射，得到第一映射向量和第二映射向量；根据所述第一映射向量获取第一注意力向量，并根据第二映射向量获取第二注意力向量；根据所述第一注意力向量获取第一句子向量，并根据所述第二注意力向量获取第二句子向量；根据所述第一句子向量和所述第二句子向量获取目标句子向量；将所述目标句子向量输入Bert模型的线性层进行意图识别，获取意图识别结果。可选地，所述根据所述第一映射向量获取第一注意力向量，并根据第二映射向量获取第二注意力向量，包括：将所述第一映射向量，与所述第二映射向量的转置进行点乘得到第一关注度，并将所述第二映射向量，与所述第一映射向量的转置进行点乘得到第二关注度；分别对所述第一关注度和第二关注度进行归一化处理，得到第一目标关注度和第二目标关注度；将所述第一目标关注度与所述第三向量进行点乘得到第一注意力向量，并将所述第二目标关注度与所述第三向量进行点乘得到第二注意力向量。可选地，所述将所述第一映射向量，与所述第二映射向量的转置进行点乘得到第一关注度，包括：将所述第一映射向量，与所述第二映射向量的转置进行点乘得到第一数值；将所述第一数值除以缩放因子后得到所述第一关注度，其中，所述dK为所述第二向量的维度；所述将所述第二映射向量，与所述第一映射向量的转置进行点乘得到第二关注度，包括：将所述第二映射向量，与所述第一映射向量的转置进行点乘得到第二数值；将所述第二数值除于缩放因子所述后得到所述第二关注度。可选地，所述根据所述第一注意力向量获取第一句子向量，并根据所述第二注意力向量获取第二句子向量，包括：对所述第一注意力向量的第N维进行累加得到所述第一句子向量；对所述第二注意力向量的第N维进行累加得到所述第二句子向量。可选地，所述N为0。可选地，所述根据所述第一句子向量和所述第二句子向量获取目标句子向量，包括：对所述第一句子向量与所述第二句子向量进行合并得到所述目标句子向量。可选地，所述通过嵌入层将所述待识别句子转化成特征向量，包括：通过所述嵌入层，采用Word2Vec方式将所述待识别句子转化成特征向量。第二方面，本专利技术实施例提供一种意图识别装置，包括：获取模块，用于获取待识别句子；处理模块，用于：通过嵌入层将所述待识别句子转化得到第一向量、第二向量和第三向量；分别对所述第一向量和第二向量进行线性映射，得到第一映射向量和第二映射向量；根据所述第一映射向量获取第一注意力向量，并根据第二映射向量获取第二注意力向量；根据所述第一注意力向量得到第一句子向量，并根据所述第二注意力向量得到第二句子向量；根据所述第一句子向量和所述第二句子向量得到目标句子向量；意图识别模块，用于将所述目标句子向量输入Bert模型的线性层进行意图识别，获取意图识别结果。可选地，所述处理模块还用于：将所述第一映射向量，与所述第二映射向量的转置进行点乘得到第一关注度，并将所述第二映射向量，与所述第一映射向量的转置进行点乘得到第二关注度；分别对所述第一关注度和第二关注度进行归一化处理，得到第一目标关注度和第二目标关注度；将所述第一目标关注度与所述第三向量进行点乘得到第一注意力向量，并将所述第二目标关注度与所述第三向量进行点乘得到第二注意力向量。可选地，所述处理模块还用于：将所述第一映射向量，与所述第二映射向量的转置进行点乘得到第一数值；将所述第一数值除以缩放因子后得到所述第一关注度，其中，所述dK为所述第二向量的维度；将所述第二映射向量，与所述第一映射向量的转置进行点乘得到第二数值；将所述第二数值除于缩放因子所述后得到所述第二关注度。可选地，所述N为0。可选地，所述处理模块还用于：对所述第一句子向量与所述第二句子向量进行合并得到所述目标句子向量。可选地，所述处理模块还用于：通过所述嵌入层，采用Word2Vec方式将所述待识别句子转化成特征向量。本专利技术第三方面提供一种意图识别装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本专利技术第一方面所述方法的步骤。本专利技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本专利技术第一方面所述方法的步骤。本专利技术实施例提供的一种意本文档来自技高网...

【技术保护点】
1.一种意图识别方法，其特征在于，包括：/n获取待识别句子；/n通过嵌入层将所述待识别句子转化得到第一向量、第二向量和第三向量；/n分别对所述第一向量和第二向量进行线性映射，得到第一映射向量和第二映射向量；/n根据所述第一映射向量获取第一注意力向量，并根据第二映射向量获取第二注意力向量；/n根据所述第一注意力向量获取第一句子向量，并根据所述第二注意力向量获取第二句子向量；/n根据所述第一句子向量和所述第二句子向量获取目标句子向量；/n将所述目标句子向量输入Bert模型的线性层进行意图识别，获取意图识别结果。/n

【技术特征摘要】
1.一种意图识别方法，其特征在于，包括：
获取待识别句子；
通过嵌入层将所述待识别句子转化得到第一向量、第二向量和第三向量；
分别对所述第一向量和第二向量进行线性映射，得到第一映射向量和第二映射向量；
根据所述第一映射向量获取第一注意力向量，并根据第二映射向量获取第二注意力向量；
根据所述第一注意力向量获取第一句子向量，并根据所述第二注意力向量获取第二句子向量；
根据所述第一句子向量和所述第二句子向量获取目标句子向量；
将所述目标句子向量输入Bert模型的线性层进行意图识别，获取意图识别结果。


2.根据权利要求1所述的意图识别方法，其特征在于，所述根据所述第一映射向量获取第一注意力向量，并根据第二映射向量获取第二注意力向量，包括：
将所述第一映射向量，与所述第二映射向量的转置进行点乘得到第一关注度，并将所述第二映射向量，与所述第一映射向量的转置进行点乘得到第二关注度；
分别对所述第一关注度和第二关注度进行归一化处理，得到第一目标关注度和第二目标关注度；
将所述第一目标关注度与所述第三向量进行点乘得到第一注意力向量，并将所述第二目标关注度与所述第三向量进行点乘得到第二注意力向量。


3.根据权利要求2所述的意图识别方法，其特征在于，所述将所述第一映射向量，与所述第二映射向量的转置进行点乘得到第一关注度，包括：
将所述第一映射向量，与所述第二映射向量的转置进行点乘得到第一数值；
将所述第一数值除以缩放因子后得到所述第一关注度，其中，所述dK为所述第二向量的维度；
所述将所述第二映射向量，与所述第一映射向量的转置进行点乘得到第二关注度，包括：
将所述第二映射向量，与所述第一映射向量的转置进行点乘得到第二数值；
将所述第二数值除于缩放因子所述后得到所述第二关注度。


4.根据权利要求1所述的意图识别方法，其特征在于，所述根据所述第一注意力向量获取第一句子向量，并根据所述第二注意力向量获取第二句子向量，包括：
对所述第一注意力向量的第N维进行累加得到所述第一句子向量；

【专利技术属性】
技术研发人员：黄日星，熊友军，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：广东;44