基于多层次图卷积网络的微表情识别方法及装置制造方法及图纸

本发明专利技术公开一种基于多层次图卷积网络的微表情识别方法及装置，该方法步骤包括：S01.获取不同类别的微表情数据构成微表情数据集并进行数据预处理；S02.从预处理后的微表情数据集中提取各微表情数据的光流特征和人脸关键点特征，得到微表情特征数据；S03.将提取的微表情特征数据输入至基于多层次图卷积网络的微表情识别模型中进行训练，得到训练后的微表情识别模型，基于多层次图卷积网络的微表情识别模型包括时空卷积模块、自注意力模块和双重图卷积模块；S04.将待识别的微表情视频数据进行预处理后输入至训练后的微表情识别模型中，得到识别结果。本发明专利技术具有实现方法简单、计算量小、识别精度以及效率高等优点。识别精度以及效率高等优点。识别精度以及效率高等优点。

【技术实现步骤摘要】
基于多层次图卷积网络的微表情识别方法及装置


[0001]本专利技术涉及微表情识别
，尤其涉及一种基于多层次图卷积网络的微表情识别方法及装置。

技术介绍

[0002]面部表情通常可以分为宏观表情和微观表情两类，其中面部的宏观表情很长，意图明显，很容易被人类和机器识别。面部微表情能够表现出一个人真实的情感，无法被伪造、隐藏或用来欺骗个人的真实感受或心理状态，因而微表情在测谎、在线学习、安全、医疗保健（抑郁症康复、治疗等）和在线游戏等各个领域有着广泛的应用。但是面部微表情由于是皮肤下短暂、微小、快速和不自主的面部肌肉运动，这些表情的持续时间往往很短（通常不到一秒钟），难以直接被精准的识别出。
[0003]由于微表情的人为识别特别困难，训练难度大且准确率不高，因而需要借助于计算机对微表情进行自动识别。目前微表情的自动识别技术主要分两种：基于手工特征的识别方法以及基于深度学习的识别方法，其中手工特征提取方法是采用手动计算的方式，因而自适应性较差；基于深度学习的识别方法则是使用各种新型的神经网络结构来提取用于微表情分类的特征，例如CNN（卷积本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层次图卷积网络的微表情识别方法，其特征在于，步骤包括：S01.获取不同类别的微表情数据构成微表情数据集并进行数据预处理；S02.从预处理后的微表情数据集中提取各微表情数据的光流特征和人脸关键点特征，得到微表情特征数据；S03.将提取的微表情特征数据输入至基于多层次图卷积网络的微表情识别模型中进行训练，得到训练后的微表情识别模型，所述基于多层次图卷积网络的微表情识别模型包括时空卷积模块、自注意力模块和双重图卷积模块；所述时空卷积模块输入所述光流特征进行逐元素的卷积操作，输出第一特征向量，所述自注意力模块输入所述人脸关键点特征，输出第二特征向量，所述双重图卷积模块输入所述人脸关键点特征并计算得到对应人脸不同部位的特征矩阵，经过图卷积网络得到第三特征向量，由所述第一特征向量、第二特征向量以及第三特征向量拼接构成最终的特征向量；S04.将待识别的微表情视频数据进行预处理后输入至所述训练后的微表情识别模型中，得到识别结果输出。2.根据权利要求1所述的基于多层次图卷积网络的微表情识别方法，其特征在于，所述步骤S01中进行数据预处理的步骤包括：S101.获取微表情数据的起始帧、顶点帧、结束帧；S102.对步骤S101得到的三帧图像分别进行人脸关键点检测与定位，获取多个关键点的坐标；S103.根据步骤S012获取的各个关键点对各图像进行裁剪，使得裁剪后的图像仅包含人脸面部区域；S104.将裁剪后的各图像进行统一标准化和灰度归一化，得到预处理后的微表情数据。3.根据权利要求1所述的基于多层次图卷积网络的微表情识别方法，其特征在于，所述步骤S02中提取各微表情数据的光流特征包括：将预处理后的微表情数据中起始帧、顶点帧、结束帧分为两组，采用LK光流法分别计算每组数据的水平光流数据和垂直光流数据；将所述水平光流数据和垂直光流数据拼接后进行标准化操作，得到每组的光流数据；将得到的两组光流数据逐元素取统计值，得到光流特征。4.根据权利要求3所述的基于多层次图卷积网络的微表情识别方法，其特征在于，按照下式计算光流数据：下式计算光流数据：下式计算光流数据：其中，表示处的像素点在时刻的强度，表示该点在时间移动的横坐标距离，表示该点在时间移动的纵坐标距离，表示该点的光流水平分量，表示该点的光流垂直分量。5.根据权利要求1所述的基于多层次图卷积网络的微表情识别方法，其特征在于，所述
步骤S02中提取人脸关键点特征包括：分别获取预处理后微表情数据中顶点帧的各个关键点的坐标；根据获取的关键点的坐标，划定以坐标点为中心的固定大小的区块，得到对应区块的灰度图像素...

【专利技术属性】
技术研发人员：陈妍，吴乐晨，陈晓红，周国庆，张小威，
申请(专利权)人：湖南工商大学，
类型：发明
国别省市：