【技术实现步骤摘要】
一种基于深度学习的面部情感校准方法及系统
本专利技术涉及深度学习，计算机视觉领域，尤其涉及到一种基于深度学习的面部情感校准方法及系统。
技术介绍
随着科技的发展，万物智能的时代离我们越来越近。在智能时代，人机智能交互显得尤为重要。当人类在表达感情时，表情占有相当大的比重。同样，若要让智能体感受人类的情感甚至学会表达自己的情感，人脸表情识别就显得尤为重要。当前，面部表情识别取得了很大的进展，具体表现在：多种数据集中关于单张人脸图片的表情分类已经获得了很高的准确率。基于深度学习的方法，如卷积神经网络，注意力机制等方法，更是让面部表情识别在头部姿态偏移、遮挡等异常情况也有一定程度的兼容能力。但是，面部表情十分复杂，反映了人们内心的心理活动；在存在手部遮挡时，若仅仅将其视为一种干扰，就有可能丢失其中蕴含的深层次的面部情感。反之，若结合心理学知识，可以从人的心理动机上理解手部遮挡，进而捕获更加准确、真实、丰富的面部情感。目前的技术文献中，已经有人通过建立与头部姿态相关的表情先验概率模型来优化人脸表情分类方法(一...
【技术保护点】
1.一种基于深度学习的面部情感校准方法，其特征在于，包括以下步骤：/nS1、对含有人脸的原始图像进行预处理；/nS2、将预处理后的原始图像送入训练过的第一卷积神经网络，并结合肤色模型，检测原始图像中手部出现的具体位置和大小，作为肢体特征；/nS3、将预处理后的原始图像送入训练过的第二卷积神经网络，提取表情特征；/nS4、将步骤S2中提取的肢体特征与步骤S3中提取的表情特征进行融合，决定最终的情感属性与能级。/n
【技术特征摘要】
1.一种基于深度学习的面部情感校准方法，其特征在于，包括以下步骤：
S1、对含有人脸的原始图像进行预处理；
S2、将预处理后的原始图像送入训练过的第一卷积神经网络，并结合肤色模型，检测原始图像中手部出现的具体位置和大小，作为肢体特征；
S3、将预处理后的原始图像送入训练过的第二卷积神经网络，提取表情特征；
S4、将步骤S2中提取的肢体特征与步骤S3中提取的表情特征进行融合，决定最终的情感属性与能级。
2.根据权利要求1所述的一种基于深度学习的面部情感校准方法，其特征在于，步骤S1中，从待检测的含有人脸的原始图像中准确检测人脸区域，进行面部关键点定位、人脸对齐和尺度归一化，具体如下：
采用预先训练的人脸检测模型作为第一识别模型，利用第一识别模型对含有人脸的原始图像进行人脸检测，第一识别模型同时输出多个面部关键点的坐标；利用面部关键点的坐标，使用仿射变换进行人脸矫正对齐，之后将对齐后的原始图像进行光照归一化和尺度归一化，得到预处理后的原始图像。
3.根据权利要求2所述的一种基于深度学习的面部情感校准方法，其特征在于，人脸检测模型采用RetinaFace模型。
4.根据权利要求2所述的一种基于深度学习的面部情感校准方法，其特征在于，步骤S2中，采用手部模板与由非遮挡人脸合成的批量图片作为训练集，利用反向传播与批随机梯度下降的方法来寻找第一卷积神经网络的最优参数，得到训练过的第一卷积神经网络并将其作为第二识别模型；将步骤S1中得到的预处理后的原始图像送入第二识别模型，得到原始图像中手部的初步位置与面积；利用肤色模型的知识，排除非手部类型的遮挡，得到原始图像中手部出现的具体位置和大小，作为肢体特征。
5.根据权利要求4所述的一种基于深度学习的面部情感校准方法，其特征在于，第一卷积神经网络采用deeplabV3+模型。
6.根据权利要求4所述的一种基于深度学习的面部情感校准方法，其特征在于，手部模板分为单手模板与双手模板，两种手部模板均由搜索引擎与RAF-DB数据集中的特殊人脸遮挡图片得到。
7.根据权利要求4所述的一种基于深度学习的面部情感校准方法，其特征在于，步骤S3中，采用多种人脸表情数据库作为训练集，基于注意力机制，利用反向传播与批随机梯度下降的方法来寻找第二卷积神经网络的最优参数，得到训练过的第二卷积神经网络并将其作为第三识别模型；将步骤S1中得到的预处理后的原始图像送入第三识别...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。