基于注意力机制的意图识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及人工智能领域，公开了一种基于注意力机制的意图识别方法、装置、设备及存储介质，用于提高对需推理的信息进行多模态意图识别的准确性。方法包括：获取文本信息的文本意图特征和图像信息的图像意图特征；分别计算文本注意力值和图像注意力值；根据文本注意力值和文本意图特征以及图像注意力值与图像意图特征，分别获得文本偏重特征矩阵和图像偏重特征矩阵；根据文本意图特征、图像意图特征、文本偏重特征矩阵、图像偏重特征矩阵和预置门控机制，生成注意力融合意图特征和门控机制融合意图特征；将注意力融合意图特征和门控机制融合意图特征进行拼接处理得到目标意图特征；对目标意图特征进行意图分类得到对应的目标意图。

【技术实现步骤摘要】
基于注意力机制的意图识别方法、装置、设备及存储介质
本专利技术涉及分类算法领域，尤其涉及一种基于注意力机制的意图识别方法、装置、设备及存储介质。
技术介绍
随着语音技术和自然语言理解等技术的发展，语音交互系统也随之发展，成为当今的热门研究领域之一。随着语音交互系统的发展，在面对如何通过语音交互系统与用户进行有效的对话的问题时，对交互信息进行意图识别成为有力的解决方案，而对交互信息进行意图识别的准确性也就成为亟需解决的关注问题之一。目前的交互信息意图识别中，通过对交互信息进行特征提取，获得特征信息，通过多个预置的意图识别模型对该特征信息进行意图分类处理，从而实现意图识别。在现有技术中，由于是采用双线性的多模态融合方式，在对于一些间接需要简单推理的信息时，并不能准确地对该信息的意图进行识别，且进行意图识别的信息类型有些局限，一般都是仅对文本信息进行意图识别，例如：当无法通过输入用语言表述对“安检红外闸机的使用”进行咨询时，需要输入“安检红外闸机”的图像以进行咨询，而双线性的多模态融合方式难以通过对“安检红外闸机”图像信息进行推理分析从而识别本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的意图识别方法，其特征在于，所述基于注意力机制的意图识别方法包括：/n获取文本信息和图像信息，通过预置的门控循环单元神经网络模型对所述文本信息进行意图特征提取，得到文本意图特征，并通过预置的区域卷积神经网络模型对所述图像信息进行意图特征提取，得到图像意图特征；/n分别计算所述文本意图特征和所述图像意图特征的注意力，得到文本注意力值和图像注意力值；/n根据所述文本注意力值与所述文本意图特征生成文本偏重特征矩阵，并根据所述图像注意力值与所述图像意图特征生成图像偏重特征矩阵；/n根据所述文本意图特征、所述图像意图特征、所述文本偏重特征矩阵和所述图像偏重特征矩阵，生成注意力融合意...

【技术特征摘要】
1.一种基于注意力机制的意图识别方法，其特征在于，所述基于注意力机制的意图识别方法包括：
获取文本信息和图像信息，通过预置的门控循环单元神经网络模型对所述文本信息进行意图特征提取，得到文本意图特征，并通过预置的区域卷积神经网络模型对所述图像信息进行意图特征提取，得到图像意图特征；
分别计算所述文本意图特征和所述图像意图特征的注意力，得到文本注意力值和图像注意力值；
根据所述文本注意力值与所述文本意图特征生成文本偏重特征矩阵，并根据所述图像注意力值与所述图像意图特征生成图像偏重特征矩阵；
根据所述文本意图特征、所述图像意图特征、所述文本偏重特征矩阵和所述图像偏重特征矩阵，生成注意力融合意图特征，并根据预置门控机制、所述文本意图特征和所述图像意图特征，生成门控机制融合意图特征；
将所述注意力融合意图特征和所述门控机制融合意图特征进行拼接处理，得到目标意图特征；
对所述目标意图特征进行意图分类，得到对应的目标意图。


2.根据权利要求1所述的基于注意力机制的意图识别方法，其特征在于，所述根据所述文本意图特征、所述图像意图特征、所述文本偏重特征矩阵和所述图像偏重特征矩阵，生成注意力融合意图特征，包括：
将所述文本偏重特征矩阵与所述图像意图特征相乘得到文本图像融合特征，将所述图像偏重特征矩阵与所述文本意图特征相乘得到图像文本融合特征，将所述文本图像融合特征和所述图像文本融合特征确定为第一融合意图特征；
将所述文本偏重特征矩阵与所述文本意图特征相乘得到文本融合特征，将所述图像偏重特征矩阵与所述图像意图特征相乘得到图像融合特征，将所述文本融合特征和所述图像融合特征确定为第二融合意图特征；
将所述第一融合意图特征和所述第二融合意图特征确定为注意力融合意图特征。


3.根据权利要求2所述的基于注意力机制的意图识别方法，其特征在于，所述将所述注意力融合意图特征和所述门控机制融合意图特征进行拼接处理，得到目标意图特征，包括：
分别对所述第一融合意图特征、所述第二融合意图特征和所述门控机制融合意图特征进行主要成分提取处理，得到第一初始特征、第二初始特征和第三初始特征；
分别对所述第一初始特征、所述第二初始特征和所述第三初始特征进行降维处理，得到第一目标特征、第二目标特征和第三目标特征；
将所述第一目标特征、所述第二目标特征和所述第三目标特征进行并行融合，得到目标意图特征。


4.根据权利要求1所述的基于注意力机制的意图识别方法，其特征在于，所述根据预置门控机制、所述文本意图特征和所述图像意图特征，生成门控机制融合意图特征，包括：
通过预置门控机制计算所述文本信息对所述图像信息的文本图像门控值，以及所述图像信息对所述文本信息的图像文本门控值；
根据预置门控机制中的门控循环单元和所述文本图像门控值对所述文本意图特征进行过滤选择处理，得到更新后的文本意图特征，并根据所述门控循环单元和所述图像文本门控值对所述图像意图特征进行过滤选择处理，得到更新后的图像意图特征；
将所述更新后的文本意图特征和所述更新后的图像意图特征进行矩阵相乘处理，得到门控机制融合意图特征。


5.根据权利要求1所述的基于注...

【专利技术属性】
技术研发人员：孙思，曹锋铭，
申请(专利权)人：平安国际智慧城市科技股份有限公司，
类型：发明
国别省市：广东;44