基于多模态的情感分析方法技术

本申请涉及人工智能技术中的医疗科技领域，可应用于医疗研究，如对心理疾病

【技术实现步骤摘要】
基于多模态的情感分析方法、装置、设备及介质


[0001]本申请涉及人工智能技术中的医疗科技领域，具体涉及一种基于多模态的情感分析方法
、
装置
、
设备及介质
。

技术介绍

[0002]情感心理学
(Psychology Of Emotion)
是心理学中研究人的情感的一个分支，对研究如何消除人类在有外界因素或自然产生的紧张和压力的情绪，有积极的辅助作用，通过研究人们的情感状况来恢复人们健康
、
健全的人格，对心理疾病
、
精神疾病患者的病理研究分析及情绪管理具有重要意义
。
[0003]目前的利用机器学习分析用户的情感主要是用多模态情感分析法，多模态情感分析是指利用文本
、
图像
、
音频
、
生理信号等通过多种介质表现的数据对人的生理情感进行分析的技术
。
与以往的只依据单一模态的数据如文本数据相比，多模态数据覆盖了人类表达情感更多渠道，如通过文字表达字面情感，通过面部表情表达高级情感，通过声音韵律等特征表达情感强度等；
[0004]多模态情感分析技术的关键是多模态特征的提取，多模态特征的交互和多模态信息的融合；现有技术中，从提取多模态特征到做出情感分类预测结果实际上是两阶段的任务，第一阶段是使用不同的特征提取技术获得多模态特征，第二阶段是多模态特征的交互和多模态信息的融合，这种方法造成特征提取无法最大限度地满足下游的情感分类任务，因此会导致模态之间的信息冲突以及多模态信息的融合出错，给多模态融合和多模态交互带来困难
。

技术实现思路

[0005]本申请提供一种基于多模态的情感分析方法
、
装置
、
设备及介质，旨在解决现有技术中多模态情感分析区分两个阶段会导致模态之间的信息冲突以及多模态信息的融合出错，给多模态融合和多模态交互带来困难的问题
。
[0006]为了解决上述技术问题，第一方面，本申请提供了一种基于多模态的情感分析方法，包括：
[0007]提取多模态样本的单模态样本数据，其中，所述单模态样本数据包括文本数据
、
音频数据
、
图像数据以及所述文本数据
、
所述音频数据
、
所述图像数据分别对应的情感标签；
[0008]将所述单模态样本数据输入到训练好的多模态条件变分自编码器进行处理，得到文本处理结果
、
音频处理结果和图像处理结果；
[0009]将所述文本处理结果
、
所述音频处理结果和所述图像处理结果进行拼接融合，得到融合结果；
[0010]基于注意力机制过滤所述融合结果中的冗余信息，得到过滤结果；
[0011]根据所述过滤结果以及融合修正系数，得到最终情感分类结果
。
[0012]优选的，所述多模态条件变分自编码器包括文本变分自编码器
、
图像变分自编码
器和音频变分自编码器，所述文本变分自编码器的训练步骤包括：
[0013]将所述文本数据进行随机向量化操作，得到初步词嵌入结果其中
i
＝1，2，
…
，
N
，
N∈N
*
；
[0015]采用含有多个卷积核的
TextCNN
网络作为所述文本变分自编码器的编码器
、
采用与所述
TextCNN
网络对称的解码结构作为所述文本变分自编码器的解码器；
[0016]根据所述文本变分自编码器的编码函数
、
解码函数
、
编码函数的参数和解码函数的参数，构建所述文本变分自编码器的重构损失函数：
[0017][0018]其中，
f
text
为文本变分自编码器的编码函数
、g
text
为解码函数
、
θ
text
为编码函数的参数，
δ
text
为解码函数的参数，
y
i
为第
i
个多模态样本对应的情感标签；
[0019]将所述初步词嵌入结果输入到所述文本变分自编码器进行迭代处理，直到所述文本变分自编码器的重构损失函数收敛
。
[0020]优选的，所述图像变分自编码器的训练步骤包括：
[0021]获取所述图像数据的
RGB
三通道像素值；
[0022]根据所述图像数据的
RGB
三通道像素值构建图像原始输入数据
[0023]采用
VGG16
网络作为所述图像变分自编码器的编码器，采用与所述
VGG16
网络对称的解码结构作为所述图像变分自编码器的解码器；
[0024]根据所述图像变分自编码器的编码函数
、
解码函数
、
编码函数的参数和解码函数的参数，构建所述图像变分自编码器的重构损失函数：
[0025][0026]其中
f
image
为图像变分自编码器的编码函数
、g
image
为解码函数
、
θ
image
为编码函数的参数，
δ
image
为解码函数的参数；
[0027]将所述图像原始输入数据输入到所述图像变分自编码器进行迭代处理，直到所述图像变分自编码器的重构损失函数收敛
。
[0028]优选的，所述音频变分自编码器的训练步骤包括：
[0029]基于
PCM
脉冲编码调制按预设时间间隔对所述音频数据进行取样，得到多个音频抽样值；
[0030]将所述多个音频抽样值取整并向量化，得到所述音频数据的向量化表示值
[0031]采用不同卷积核大小的一维卷积函数作为所述音频变分自编码器的编码器，采用与所述一维卷积函数对称的解码结构作为所述音频变分自编码器的解码器；
[0032]根据所述音频变分自编码器的编码函数
、
解码函数
、
编码函数的参数和解码函数的参数，构建所述音频变分自编码器的重构损失函数：
[0033][0034]其中，
f
audio
为图像变分自编码器的编码函数
、g
audio
为解码函数
、
θ
audio
为编码函数
的参数，
δ
audio
为解码函数的参数；
[0035]将所述音频数据的向量化表示值输入到所述音频变分自编码器进行迭代处理，直到所述音频变分自编码器的重构损失函数收敛
。
[0036]优选的，所述将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态的情感分析方法，其特征在于，包括：提取多模态样本的单模态样本数据，其中，所述单模态样本数据包括文本数据
、
音频数据
、
图像数据以及所述文本数据
、
所述音频数据
、
所述图像数据分别对应的情感标签；将所述单模态样本数据输入到训练好的多模态条件变分自编码器进行处理，得到文本处理结果
、
音频处理结果和图像处理结果；将所述文本处理结果
、
所述音频处理结果和所述图像处理结果进行拼接融合，得到融合结果；基于注意力机制过滤所述融合结果中的冗余信息，得到过滤结果；根据所述过滤结果以及融合修正系数，得到最终情感分类结果
。2.
如权利要求1所述的基于多模态的情感分析方法，其特征在于，所述多模态条件变分自编码器包括文本变分自编码器
、
图像变分自编码器和音频变分自编码器，所述文本变分自编码器的训练步骤包括：将所述文本数据进行随机向量化操作，得到初步词嵌入结果其中
i
＝1，2，
…
，
N
，
N∈N
*
；采用含有多个卷积核的
TextCNN
网络作为所述文本变分自编码器的编码器
、
采用与所述
TextCNN
网络对称的解码结构作为所述文本变分自编码器的解码器；根据所述文本变分自编码器的编码函数
、
解码函数
、
编码函数的参数和解码函数的参数，构建所述文本变分自编码器的重构损失函数：其中，
f
text
为文本变分自编码器的编码函数
、g
text
为解码函数
、
θ
text
为编码函数的参数，
δ
text
为解码函数的参数，
y
i
为第
i
个多模态样本对应的情感标签；将所述初步词嵌入结果输入到所述文本变分自编码器进行迭代处理，直到所述文本变分自编码器的重构损失函数收敛
。3.
如权利要求2所述的基于多模态的情感分析方法，其特征在于，所述图像变分自编码器的训练步骤包括：获取所述图像数据的
RGB
三通道像素值；根据所述图像数据的
RGB
三通道像素值构建图像原始输入数据采用
VGG16
网络作为所述图像变分自编码器的编码器，采用与所述
VGG16
网络对称的解码结构作为所述图像变分自编码器的解码器；根据所述图像变分自编码器的编码函数
、
解码函数
、
编码函数的参数和解码函数的参数，构建所述图像变分自编码器的重构损失函数：其中
f
image
为图像变分自编码器的编码函数
、g
image
为解码函数
、
θ
image
为编码函数的参数，
δ
image
为解码函数的参数；
将所述图像原始输入数据输入到所述图像变分自编码器进行迭代处理，直到所述图像变分自编码器的重构损失函数收敛
。4.
如权利要求3所述的基于多模态的情感分析方法，其特征在于，所述音频变分自编码器的训练步骤包括：基于
PCM
脉冲编码调制按预设时间间隔对所述音频数据进行取样，得到多个音频抽样值；将所述多个音频抽样值取整并向量化，得到所述音频数据的向量化表示值采用不同卷积核大小的一维卷积函数作为所述音频变分自编码器的编码器，采用与所述一维卷积函数对称的解码结构作为所述音频变分自编码器的解码器；根据所述音频变分自编码器的编码函数
、
解码函数
、
编码函数的参数和解码函数的参数，构建所述音频变分自编码器的重构损失函数：其中，
audio
为图像变分自编码器的编码函数
、g
audio
为解码函数
、
θ
audio
为编码函数的参数，
δ
audio
为解码函数的参数；将所述音频数据的向量化表示值输入到所述音频变分自编码器进行迭代处理，直到所述音频变分自编码器的重构损失函数收敛
。5.
如权利要求4所述的基于多模态的情感分析方法，其特征在于，所述将所述文本处理结果
、
所述音频处理结果和所述图像处理结果进行拼接融合，得到融合结果的步骤包括：将所述文本处理结果
、
所述音频处理结果和所述图像处理结果按照模态维度拼接进行拼接融合，其拼接融合的计算公式为：拼接融合，其拼接融合的计算公式为：拼接融合，其拼接融合的计算公式为：拼接融合，其拼接融合的计算公式为：其...

【专利技术属性】
技术研发人员：舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：