基于生理信号及面部表情的多模态情感评价方法及装置制造方法及图纸

本发明专利技术实施例公开了一种基于生理信号及面部表情的多模态情感评价方法及装置，其中，方法包括：采集受试者在预设阶段的面部表情图像、脑电图信号以及皮肤电导信号；将预处理后的面部表情图像输入面部情绪识别模型进行情绪识别得到第一情绪类别；对脑电图信号进行处理得到脑电图特征，将脑电图特征输入脑电情绪识别模型进行情绪识别得到第二情绪类别；对皮肤电导信号进行处理得到皮肤电导特征，将皮肤电导特征输入皮肤电导情绪识别模型进行情绪识别得到第三情绪类别；将第一情绪类别、第二情绪类别以及第三情绪类别进行融合得到多模态情绪类别；根据多模态情绪类别确定情感评价得分。本申请实施例提高了情绪香氛产品的情感评价准确度。

【技术实现步骤摘要】

本专利技术涉及数据处理，尤其涉及一种基于生理信号及面部表情的多模态情感评价方法及装置。

技术介绍

1、随着技术的发展，计算机已经成为生活中必不可少的一部分。人类随时随地都会有喜怒哀乐等情感的起伏变化。如何使计算机理解人类的情感成为了一个研究热点。科学家们通过赋予计算机系统类似于人类的观察、识别、理解、表达以及生成各类情感表现的能力，从而令计算机系统具备更高、更全面的智能，能使其如同人类般进行自然、生动且亲切地交流与互动。在很多场景中情感识别及情感评价是很有必要的，比如在人机交互的过程中，智能服务机器人如果可以准确的识别人们的情感的，那么会带来更好的服务，让人机交互更加自然，顺畅，有温度。

2、现有技术中对情绪香氛产品的情感评价方法要么具有较强的主观性，评价结果受个人经验和偏好影响，不易重复且难以量化，缺乏客观性；要么在评价过程中易受环境因素和生理因素影响，且评价成本较高；要么无法准确评估情绪香氛产品在市场上的情感表达效果，使得情感评价的准确度较低。

技术实现思路

1、本专利技术实施例提供了一种基于本文档来自技高网...

【技术保护点】

1.一种基于生理信号及面部表情的多模态情感评价方法，其特征在于，包括：

2.根据权利要求1所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述面部情绪识别模型为采用样本面部表情图像集对卷积神经网络进行训练和验证得到的模型，其包括包卷积层、池化层以及全连接层；所述对所述面部表情图像进行处理得到目标面部表情图像，并将所述面部表情图像输入面部情绪识别模型进行情绪识别得到第一情绪类别，包括：

3.根据权利要求1所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述脑电图特征包括基线脑电图时频特征、刺激脑电图时频特征以及恢复脑电图时频特征；所述对所...

【技术特征摘要】

1.一种基于生理信号及面部表情的多模态情感评价方法，其特征在于，包括：

2.根据权利要求1所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述面部情绪识别模型为采用样本面部表情图像集对卷积神经网络进行训练和验证得到的模型，其包括包卷积层、池化层以及全连接层；所述对所述面部表情图像进行处理得到目标面部表情图像，并将所述面部表情图像输入面部情绪识别模型进行情绪识别得到第一情绪类别，包括：

3.根据权利要求1所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述脑电图特征包括基线脑电图时频特征、刺激脑电图时频特征以及恢复脑电图时频特征；所述对所述脑电图信号进行处理得到脑电图特征，包括：

4.根据权利要求3所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述脑电情绪识别模型为采用样本脑电信号集对svm模型进行训练和验证得到的模型；所述将所述脑电图特征输入脑电情绪识别模型进行情绪识别得到第二情绪类别，包括：

5.根据权利要求4所述的基于生理信号及面部表情的多模态情感评价方法，其特征在于，所述皮肤电导特征包括基线皮肤电导时频特征、刺激皮肤电导时频特征以及恢复皮肤电导时频特...

【专利技术属性】
技术研发人员：高海燕，洪杏枝，王静，
申请(专利权)人：威莱广州日用品有限公司，
类型：发明
国别省市：