【技术实现步骤摘要】
一种基于深度学习的微表情识别方法及系统
[0001]本专利技术涉及表情识别
,特别指一种基于深度学习的微表情识别方法及系统。
技术介绍
[0002]面部表情是一种在情绪状态下,由面部肌肉收缩产生的非语言交流表情流露,不同的肌肉运动模式会产生不同的表情,进而反映出不同类型的情绪。
[0003]表情分为宏表情和微表情,宏表情的持续时间通常在0.75秒至2秒之间,微表情的持续时间通常在0.04秒至0.2秒之间。由于宏表情可能由人刻意展现出来,因此可能会误导交互型机器人对人类情感的识别;而微表情大多是在无意识的情况下表达的真实情感,最有可能揭示一个人深层的情绪,因此产生微表情识别的需求应运而生。但是,传统上对于微表情识别的准确率还不尽如人意。
[0004]因此,如何提供一种基于深度学习的微表情识别方法及系统,实现提升微表情识别的准确率,成为一个亟待解决的技术问题。
技术实现思路
[0005]本专利技术要解决的技术问题,在于提供一种基于深度学习的微表情识别方法及系统,实现提升微表情识别的准确率。< ...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习的微表情识别方法,其特征在于:包括如下步骤:步骤S10、交互型机器人通过3D摄像头获取图像流;步骤S20、交互型机器人通过人脸识别算法检测所述图像流中的人脸并进行截取,获取人脸数据流并上传服务器;步骤S30、服务器从所述人脸数据流中提取包括人脸动态数据和人脸静态数据的人脸数据组;步骤S40、服务器基于软编码输出创建一微表情识别模型,并对所述微表情识别模型进行训练;步骤S50、服务器将所述人脸数据组输入训练后的微表情识别模型得到微表情信息,并将所述微表情信息反馈给交互型机器人,交互型机器人基于接收的所述微表情信息进行互动响应。2.如权利要求1所述的一种基于深度学习的微表情识别方法,其特征在于:所述步骤S10中,所述交互型机器人设有5G通信模块,所述3D摄像头的拍摄帧数至少为100fps。3.如权利要求1所述的一种基于深度学习的微表情识别方法,其特征在于:所述步骤S20具体为:交互型机器人对所述图像流进行降噪处理后,通过OpenCV中基于Haar特征的人脸识别算法检测所述图像流中的人脸并进行截取,获取人脸数据流并上传服务器。4.如权利要求1所述的一种基于深度学习的微表情识别方法,其特征在于:所述步骤S30具体包括:步骤S31、服务器利用BS
‑
RoIs算法从人脸数据流中提取出顶点帧,将所述顶点帧作为人脸静态数据;步骤S32、提取所述人脸数据流的起始帧,利用所述起始帧和顶点帧提取横向光流信息u、纵向光流信息v以及光学应变信息ε;利用FlowNet模型从所述人脸数据流中提取光流信息vis,将所述u、v、ε以及vis作为人脸动态数据;步骤S33、将各所述人脸静态数据以及人脸动态数据缩放到相同尺寸,组成人脸数据组。5.如权利要求1所述的一种基于深度学习的微表情识别方法,其特征在于:所述步骤S40中,所述微表情识别模型包括一卷积层、一池化层、一第一残差块、一卷积核、一第二残差块、一拉伸块、三层全连接层、一软编码矩阵以及一软编码输出模块;所述卷积层、池化层、第一残差块、卷积核、第二残差块、拉伸块、三层全连接层、软编码矩阵以及软编码输出模块依次连接;所述卷积层以及池化层用于对人脸数据组进行特征提取;所述第一残差块用于对提取的特征进行贡献度分类,并突显有用的特征,抑制无效的特征;所述卷积核用于对提取的特征进行拼接整合;所述第二残差块用于对各特征的权重进行调整;所述拉伸块用于对权重调整后的特征进行拉伸,形成1
×
N的特征向量;所述三层全连接层用于将1
×
N的特征向量转换为L个输出值;所述软编码矩阵用于对各输出值进行解码;所述软编码输出模块用于计算解码后的输出值中,最小损失对应的情绪类别,所述情绪类别即微表情信息。6.一种基于深度学习的微表情识别系统,其特征在于:包括如下模块:图像流获取模块...
【专利技术属性】
技术研发人员:林光毅,王备战,姚俊峰,刘昆宏,洪清启,陈俐燕,
申请(专利权)人:厦门大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。