一种面向影像生成的多模态情感分类方法技术

本发明专利技术公开了一种面向影像生成的多模态情感分类方法，包括如下步骤：对已经标记好情感倾向的人脸表情图像以及音频数据提取人脸特征和音频特征。将两种数据输入到多层感知机分类器中，得到各自的分类结果，并通过特征融合的方式再输入到一个多层感知机分类器中。最终得到一个能够根据人脸表情图像和音频数据分析出当前人脸表情和音频蕴含情感的分类器。本系统可以用来实时监测家庭聚会中成员的情感，并根据设置的特定情感自动记录下特定的情感的相册。感的相册。感的相册。

【技术实现步骤摘要】
一种面向影像生成的多模态情感分类方法


[0001]本专利技术涉及人工智能领域，特别是一种面向影像生成的多模态情感分类方法。

技术介绍

[0002]人的一生中有很多重要的时间节点。比如升职时刻，登上山顶的时刻，颁奖仪式的时刻，这些时刻基本上都会主动或被动的记录下来。而在家庭中，同样也会出现十分多值得纪念的欢乐时光，但是一般人难以捕捉并想起要记录下这美好的时光。此时智能家庭影像孕育而生，本专利技术将情感分析技术应用在家庭影像生成上，只需要打开摄像头与麦克风，即可自动记录下家庭中出现幸福的瞬间，并把此时的画面拍摄下来，同时附上相应的语音，即可实现将家庭中的欢乐时光作为一份数据永久记忆下来。
[0003]使用的主要技术为多模态情感分析，情感分析是一个十分热门的研究方向，也可应用于许多实际场景。比如推荐系统，聊天机器人，高级客服等等场景。在传统的研究中，情感分析主要集中在文本或者人脸情感分析上，并且取得了不错的效果。虽然人脸和文本均能独立地将情感表达出来，但是人的情感是十分复杂的，人与人之间的交互，人与机器之间的交互，也不仅仅局限于人脸、文本或是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向影像生成的多模态情感分类方法，其特征在于，包括如下步骤：步骤1、收集多组样本，每组样本包括预先标注了情感标签的人脸表情的图像和该图像的音频，标注的情感包括幸福、无情感和其他情感；步骤2、将图像和音频进行特征提取，并将提取的特征转化成为特征向量，得到图像的特征向量和音频的特征向量；步骤3、将图像的特征向量输入第一注意力机制层、第一多层感知机后得到图像的情感分类概率分布向量，将音频的特征向量输入第二注意力机制层、第二多层感知机后得到音频的情感分类概率分布向量；步骤4、将图像的情感分类概率分布向量和音频的情感分类概率分布向量组合在一起后输入到第三多层感知机中，得到结合图像和音频的最终的情感分类结果；从而得到分类器，该分类器用于输入图像和音频的特征向量，输出为结合图像和音频的情感分类结果；步骤5、实时收集人脸图像和音频数据；步骤6、提取步骤5中采集到的人脸图像和音频数据的特征，输入到步骤4的分类器中，得到当前每个人的情感。2.根据权利要求1所述一种面向影像生成的多模态情感分类方法，其特征在于，步骤6之后还包括步骤7，步骤7、判断步骤6中的情感是否为幸福，若为幸福则将此时的人脸照片记录下来，并将此时的语音也记录下来。3.根据权利要求1所述一种面向影像生成的多模态情感分类方法，其特征在于，步骤1中：图像和音频的情感标签分别为：每个图像的情感标签为VY＝(y1，y2，y3)，每个音频的情感标签为AY＝(y1，y2，y3)；然后综合图像和音频的情感标签为MY＝(y1，y2，y3)；其中，y1表示情感为幸福的标记位，y2表示情感为无情感的标记位，y3表示情感为其他情感的标记位。4.根据权利要求3所述一种面向影像生成的多模态情感分类方法，其特征在于，y1＝1，y2＝0，y3＝0表示幸福，y1＝0，y2＝1，y3＝0表示无情感，y1＝0，y2＝0，y3＝1表示其他情感。5.根据权利要求1所述一种面向影像生成的多模态情感分类方法，其特征在于，步骤2的具体过程为：步骤21、使用OpenFace2.0工具包的人脸发现和特征提取模型将图像的像素特征转化为D
v
维度的图像特征向量，获取图像的抽样频率为F
v
，形成一个(F
v
，D
v
)形状的向量，将(F
v
，D
v
)形状的向量压缩成(1，(F
v
·
D
v
))形状，该向量为图像的特征向量；步骤22、使用Librosa库读取音频，调用其库函数提取音频的梅尔倒谱系数MFCC、常数Q变换CQT和基频，分别得到D
a1
维度、D
a2
维度和D
a3
维度的向量，将D
a1
维度、D
a2
维度和D
a3
维度的向量拼接起来，获得代表音频的D
a
维度的向量，D
a
＝D
a1
+D
a2
+D
a3
，音频的采样率为F
a
，最终获得一个(F
a
，D
a
...

【专利技术属性】
技术研发人员：徐小龙，黄寄，段卫华，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：