基于面部视频的情感分类方法、系统、存储介质及设备技术方案

本发明专利技术涉及图像处理技术领域，本发明专利技术公开了基于面部视频的情感分类方法、系统、存储介质及设备，包括：获取受试者的面部视频；基于面部视频，采用多任务学习生理信号识别模型，得到血容量脉搏波和呼吸波后，根据血容量脉搏波和呼吸波计算出生理参数，并将血容量脉搏波、呼吸波和生理参数共同作为情感分类模型的输入，得到受试者的情感类别。与使用脑电、心电检测仪等传感器接触式设备的传统生理信号检测和情感识别方式相比，能够无接触地实现生理信号收集计算和情绪分类。号收集计算和情绪分类。号收集计算和情绪分类。

【技术实现步骤摘要】
基于面部视频的情感分类方法、系统、存储介质及设备


[0001]本专利技术涉及图像处理
，具体的说，是涉及基于面部视频的情感分类方法、系统、存储介质及设备。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]在传统的情感分类中，使用的信号源收集仪器大多为接触式的设备，比如脑电、心电检测仪等传感器，这些设备大部分都需要传感器接触到人体头部、手及身体，因此，可能会使被测试者，由于接触造成的压迫或仪器存在，产生身体不适感、或是产生抵触情绪，没有办法展现最自然的状态，从而导致测试结果不够真实。

技术实现思路

[0004]本专利技术为了解决上述问题，本专利技术提供基于面部视频的情感分类方法、系统、存储介质及设备，与使用脑电、心电检测仪等传感器接触式设备的传统生理信号检测和情感识别方式相比，能够无接触地实现生理信号收集计算和情绪分类。
[0005]为了实现上述目的，本专利技术采用如下技术方案：本专利技术的第一个方面提供基于面部视频的情感分类方法，其包括：获取受本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于面部视频的情感分类方法，其特征在于，包括：获取受试者的面部视频；基于面部视频，采用多任务学习生理信号识别模型，得到血容量脉搏波和呼吸波后，根据血容量脉搏波和呼吸波计算出生理参数，并将血容量脉搏波、呼吸波和生理参数共同作为情感分类模型的输入，得到受试者的情感类别。2.如权利要求1所述的基于面部视频的情感分类方法，其特征在于，所述生理参数包括心率、血氧饱和度、心率变异性、呼吸率和压力指数。3.如权利要求1所述的基于面部视频的情感分类方法，其特征在于，所述多任务学习生理信号识别模型对输入的面部视频进行人脸关键点识别，并取额头区域和脸颊区域分别作为感兴趣区域，将两个感兴趣区域的视频帧序列裁切出来，并进行缩放后，分别输入孪生网络，均得到血容量脉搏波和呼吸波。4.如权利要求3所述的基于面部视频的情感分类方法，其特征在于，所述孪生网络包括用于处理额头区域视频帧序列的网络分支和用于处理脸颊区域视频帧序列的网络分支，两个网络分支均包括依次连接的特征提取模块、若干个变换器模块和信号预测器，且两个网络分支之间的变换器模块共享参数。5.如权利要求3所述的基于面部视频的情感分类方法，其特征在于，将基于额头区域视频帧序列得到的血容量脉搏波和基于脸颊区域视频帧序列得到的血容量脉搏波，进行相加并进行归一化，得到输入情感分类模型的血容量脉搏波。6.如权利要求3所述的基...

【专利技术属性】
技术研发人员：刘治，聂伟琦，陶可猛，
申请(专利权)人：山东大学，
类型：发明
国别省市：