一种基于对偶转换网络的多模态情感分类方法技术

本发明专利技术公开一种基于对偶转换网络的多模态情感分类方法。本发明专利技术结合对偶学习机制以及自注意力机制，在将一个模态转换为另一个模态的过程中，挖掘模态对之间具有方向性的长时交互的跨模态融合信息。同时，对偶学习技术能够增强模型的鲁棒性，因此能很好地应对多模态学习中存在的固有问题——模态数据缺失问题。其次，在此基础上构建的分层融合框架，将所有具有同一个源模态的跨模态融合信息拼接在一块，从而采用一维卷积层进行融合操作，能够进一步挖掘多模态信息之间的高层次互补信息，是对当前情感识别领域的多模态融合框架的有效补充。

【技术实现步骤摘要】
一种基于对偶转换网络的多模态情感分类方法
本专利技术属于自然语言处理、视觉、语音交叉领域内的多模态情感识别领域，具体涉及一种基于对偶转换网络的多模态情感分类方法，具体是一种基于对偶学习以及注意力机制的对偶转换融合网络技术，对多模态信息进行双向长时分层融合，从而判断被试情感状态的方法。
技术介绍
情感分析领域通常包含文本数据，视频数据以及语音数据。在以往的研究中，验证了这些单模态数据中包含着与情感状态相关的判别信息。同时，研究发现，这些单模态数据之间存在的一致性和互补性能够有效解释多模态数据内部的关联表征，并且能够进一步增强模型表达能力及稳定性，提升情感任务分析性能。现有的基于转换网络的多模态融合模型，由于所包含的自注意力机制能够一定程度上减轻多模态数据之间的不对齐问题带来的影响，因此引起了广泛关注。具体操作为，在一个模态转换为另一个模态的过程中，提取转换过程中的中间表示作为多模态融合信息。但是当某一种模态数据缺失时，中间融合数据将会缺少来自于这种模态数据的贡献，极大影响模型表现。此外，现有转换融合模型的核心模块通常采用标准的转换模型，导本文档来自技高网...

【技术保护点】
1.一种基于对偶转换网络的多模态情感分类方法，其特征在于包括以下步骤：/n步骤1、获取多模态数据；/n步骤2、多模态信息数据预处理：抽取多模态信息线性变换初级表征/n为了多模态数据是在特征层面上进行多模态融合操作，采用线性网络抽取每一个模态数据的初级特征表示；/nX

【技术特征摘要】
1.一种基于对偶转换网络的多模态情感分类方法，其特征在于包括以下步骤：
步骤1、获取多模态数据；
步骤2、多模态信息数据预处理：抽取多模态信息线性变换初级表征
为了多模态数据是在特征层面上进行多模态融合操作，采用线性网络抽取每一个模态数据的初级特征表示；
Xm＝f(Zm)＝Wm*Zm+bm公式(1)
其中为第m个模态的初级表征，Zm为第m个模态的原始数据，Wm为第m个模态的线性网络的权重矩阵，bm为线性网络的偏置向量，Tm为时域维度的尺寸，dm为每一个时刻的特征向量的长度；
步骤3、基于对偶转换网络，对任意两模态信息构建闭环交互：
每个闭环包括基于Ai和Aj模态的两个对偶学习任务；
基于Ai模态的对偶学习过程，包含主任务和对偶任务；其中主任务是利用主转换器将Ai模态初级表征Xi转换为Xj’的过程，对偶任务是利用对偶转换器基于Xj’生成Xi’的过程；
基于Aj模态的对偶学习过程，包含主任务和对偶任务，其中主任务是利用主转换器将Aj模态初级表征Xj转换为Xi’，对偶任务是利用对偶转换器基于Xi’生成Xj’的过程；
步骤4、多模态信息的卷积融合操作；
根据步骤3可得到任意模态Ai和模态Aj的对偶转换网络输出为：






其中L为编码器的总层数；
将所有对应同一个源模态的融合信息按照时域维度拼接：



其中M为模态的总个数，为拼接操作；
再将以上信息分别通过一维卷积层，进一步进行多模态高层融合信息抽取：



其中Conv1D为一维卷积函数，K为卷积核；
最终将以上信息拼接得到最终的融合信息：



将最终的融合信息输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的分类结果。


2.根据权利要求1所述的一种基于对偶转换网络的多模态情感分类方法，其特征在于主转换器以步骤2得到的模态Ai和Aj的初级表征Xi以及Xj作为输入数据，即Xi为源模态表征，Xj为...

【专利技术属性】
技术研发人员：孔万增，唐佳佳，李康，金宣妤，张建海，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33