一种基于时序关系推理的动态表情识别方法技术

本发明专利技术公开了一种基于时序关系推理的动态表情识别方法，属于图像处理和机器视觉中的动态表情识别领域，所述方法包括：对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后转换成固定大小；构建包括多尺度区域特征提取网络和时序关系推理模块的动态表情识别模型；将得到的表情序列片段输入动态识别模型中进行训练；将待识别的表情图像序列输入训练好的动态表情识别模型，得到动态表情识别结果。本发明专利技术的方法可以适应长时序输入，且能更好地提取脸部的局部区域特征，提高识别准确度；同时本发明专利技术方法在降低计算量的同时提高了模型性能。

A dynamic expression recognition method based on temporal relation reasoning

【技术实现步骤摘要】
一种基于时序关系推理的动态表情识别方法
本专利技术属于图像处理和机器视觉中的动态表情识别领域，更具体地，涉及一种基于时序关系推理的动态表情识别方法。
技术介绍
人脸表情识别作为计算机视觉领域中的一个重要研究课题，大多数的研究往往聚焦于以单帧表情图像作为研究对象的静态表情识别任务中。然而，人脸表情作为一个动态变化过程，单帧人脸表情图像无法完整地捕捉人的情感变化。与之相比，以表情视频或表情图像序列作为研究对象的动态表情识别，由于可以利用丰富地与表情变化相关的纹理信息和运动信息，可以较为完整地表达人的情绪变化过程。但由于存在表情数据集规模小且分布不平衡、数据标注偏差、姿态变化、光照变化、情感表达差异、以及表情与说话的冲突等问题，当前动态表情识别依然面临许多挑战问题。实际的动态表情识别研究工作中主要有两个部分组成：表情序列特征提取和时序关系建模，近年来，动态表情识别的研究也取得了很好的成功。目前普遍使用3D卷积神经网络识别动态表情，这种方法简单直接，但也存在如下问题与不足之处：(1)在输入方面，普遍的做法是使用密集采样视频帧的方式，以16帧连续帧图像作为输入对图像序列提取特征，这在很大程度上限制了输入序列的长度，无法应用于长时序的表情序列，而且对于长时序的表情序列，相应的计算量会急剧增加，无法应用于实时场景中；(2)在表情图像特征提取方面，现有做法通常采用权重共享的卷积核对表情图像进行全局特征提取，没有考虑到不同脸部表情运动在脸部的不同区域具有不同的结构和纹理信息，虽然单尺度区域层为了利用局部信息，对不同的局部区域采用了不同的卷积核处理，但由于设计的局部区域大小均一致，无法适用于局部的多尺度区域特征学习，因此无法充分地利用脸部表情变化的局部信息，影响后续识别准确度；总体来说，现有动态表情识别方法存在无法适应长时序输入，且由于不能充分利用脸部局部区域特征造成识别准确度低的问题。
技术实现思路
针对现有技术的缺陷，本专利技术的目的在于提供一种基于时序关系推理的动态表情识别方法，旨在解决现有动态表情识别方法存在不能适应长时序输入，且识别准确度低的问题。为实现上述目的，本专利技术提供了一种基于时序关系推理的动态表情识别方法，包括：(1)对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后转换成固定大小；(2)构建动态表情识别模型；所述动态表情识别模型包括依次连接的多尺度区域特征提取网络和时序关系推理模块；所述多尺度区域特征提取网络包括：依次连接的第一特征层、第二特征层、第三特征层、第四特征层，第五特征层和第六特征层；所述第一特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块；所述挤压激励特征提取模块，用于对输入图像进行特征提取，得到特征图；所述多尺度区域模块，包括卷积层和三个不同尺度的区域层；所述卷积层，用于对所述挤压激励特征提取模块输出的特征图进行卷积操作；所述区域层，用于将所述卷积层输出的特征图分成固定大小的多个区域，对每个区域采用不同的卷积核进行卷积；所述第二特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块，用于对第一特征层输出的特征图再次进行特征提取，得到包含信息更为丰富的特征图；所述第三特征层、第四特征层和第五特征层均由挤压激励特征提取模块组成，用于对当前层之前输出的特征图进行特征提取得到更为高层的特征；所述第六特征层为均值池化层，用于对第五特征层输出的特征进行降维，得到表情图像的语义特征；所述时序关系推理模块，用于对所述多尺度区域特征提取网络输出的表情图像的语义特征构建相邻表情图像帧之间的时序关系；(3)将步骤(1)得到的表情序列片段输入所述动态识别模型中进行训练，得到训练好的动态表情识别模型；(4)将待识别的表情图像序列输入训练好的动态表情识别模型，得到动态表情识别结果。进一步地，步骤(1)中所述数据增强包括随机水平翻转和随机裁剪。进一步地，步骤(1)中将经过数据增强的表情序列片段转换成224*224像素的固定大小。进一步地，所述多尺度区域模块中的卷积层与三个不同尺度的区域层组成残差结构。进一步地，所述三个不同尺度的区域层依次将特征图分成8×8、4×4和2×2个区域块。进一步地，所述挤压激励特征提取模块包括深度可分离卷积子模块和挤压激励子模块；其中，深度可分离卷积子模块，包括一个深度卷积层和一个卷积核大小为1*1的普通卷积层；挤压激励子模块包括全局均值池化层、第一全连接层、非线性激活层、第二全连接层、S型函数激活层和尺度归一化层。进一步地，所述时序关系推理模块包括第一层感知机、第二层感知机和第三层感知机；所述第一层感知机的节点数为512，所述第二感知机的节点数为256，所述第三层感知机的节点数为表情类别数。进一步地，所述动态表情识别模型的损失函数为：其中，C表示表情序列的总类别数，yi表示真实标签类别，G表示时序关系推理模块的输出经过归一化之后得到的关于每个类别的后验概率输出。通过本专利技术所构思的以上技术方案，与现有技术相比，能够取得以下有益效果：(1)本专利技术通过对输入的表情图像进行多尺度稀疏采样，得到多个不同时间尺度的表情序列片段，能够适用于长时序的表情图像，对于表情变化速度不同的表情图像，也能够采集到表情从平稳、波动再到平稳的完整起伏过程，使采集到的图像特征更加贴近真实表情的变化过程，有利于提高后续表情识别的准确度。(2)本专利技术构建的多尺度区域特征提取网络，可以更好地提取脸部的局部区域特征，增强网络对表情图像特征的表达能力；同时，该网络结构使用深度可分离卷积模块和本专利技术构建的多尺度区域模块，相比传统卷积模块，降低计算量的同时提高了模型性能。(3)本专利技术采用时序关系推理模块构建表情图像序列帧间的时序关系，相比于长短期记忆网络，不仅可以提高模型训练速度，而且可以提高动态表情识别的准确率。附图说明图1是本专利技术实施例提供的一种基于时序关系推理的动态表情识别方法流程图；图2是本专利技术实施例提供的多尺度区域特征提取网络结构示意图；图3是本专利技术实施例提供的单尺度区域层结构图；图4是本专利技术实施例提供的多尺度区域模块结构示意图；图5是采用本专利技术方法得到的动态表情识别结果。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。参考图1，本专利技术提供的一种基于时序关系推理的动态表情识别方法，包括：(1)对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后，转换成固定大小；具体地，本专利技术对输入的表情图像序列进行多尺度稀疏采样，得到多个不同时间尺度的表情序列片段，能够适用于长时序的表情图像，对于表情变化速度不同的表情图像，也能够采集到表情从平稳、波动再到平稳的完整起伏过程，使采集到的图像特征更加贴近真实表情的变化过程，如图1所示，对于长度为12帧的表情图像序列，采样2帧图像时，将表情图像序列均分为2个部分，从每个部分中随机采样1帧图像；采样3帧图像时，将表情图像序列均分为3个部分，从每个部分中随机采样1帧图像；同理，采样4帧图像时，将表情图像序列均分为4个部分再进行随机采样；然后对采集的本文档来自技高网...

【技术保护点】
1.一种基于时序关系推理的动态表情识别方法，其特征在于，包括：(1)对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后转换成固定大小；(2)构建动态表情识别模型；所述动态表情识别模型包括依次连接的多尺度区域特征提取网络和时序关系推理模块；所述多尺度区域特征提取网络包括：依次连接的第一特征层、第二特征层、第三特征层、第四特征层，第五特征层和第六特征层；所述第一特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块；所述挤压激励特征提取模块，用于对输入图像进行特征提取，得到特征图；所述多尺度区域模块，包括卷积层和三个不同尺度的区域层；所述卷积层，用于对所述挤压激励特征提取模块输出的特征图进行卷积操作；所述区域层，用于将所述卷积层输出的特征图分成固定大小的多个区域，对每个区域采用不同的卷积核进行卷积；所述第二特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块，用于对第一特征层输出的特征图再次进行特征提取，得到包含信息更为丰富的特征图；所述第三特征层、第四特征层和第五特征层均由挤压激励特征提取模块组成，用于对当前层之前输出的特征图进行特征提取得到更为高层的特征；所述第六特征层为均值池化层，用于对第五特征层输出的特征进行降维，得到表情图像的语义特征；所述时序关系推理模块，用于对所述多尺度区域特征提取网络输出的表情图像的语义特征构建相邻表情图像帧之间的时序关系；(3)将步骤(1)得到的表情序列片段输入所述动态识别模型中进行训练，得到训练好的动态表情识别模型；(4)将待识别的表情图像序列输入训练好的动态表情识别模型，得到动态表情识别结果。...

【技术特征摘要】
1.一种基于时序关系推理的动态表情识别方法，其特征在于，包括：(1)对表情图像序列进行多尺度时序稀疏采样，得到多个不同尺度的表情序列片段，并将所述表情序列片段进行数据增强后转换成固定大小；(2)构建动态表情识别模型；所述动态表情识别模型包括依次连接的多尺度区域特征提取网络和时序关系推理模块；所述多尺度区域特征提取网络包括：依次连接的第一特征层、第二特征层、第三特征层、第四特征层，第五特征层和第六特征层；所述第一特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块；所述挤压激励特征提取模块，用于对输入图像进行特征提取，得到特征图；所述多尺度区域模块，包括卷积层和三个不同尺度的区域层；所述卷积层，用于对所述挤压激励特征提取模块输出的特征图进行卷积操作；所述区域层，用于将所述卷积层输出的特征图分成固定大小的多个区域，对每个区域采用不同的卷积核进行卷积；所述第二特征层，包括依次连接的挤压激励特征提取模块和多尺度区域模块，用于对第一特征层输出的特征图再次进行特征提取，得到包含信息更为丰富的特征图；所述第三特征层、第四特征层和第五特征层均由挤压激励特征提取模块组成，用于对当前层之前输出的特征图进行特征提取得到更为高层的特征；所述第六特征层为均值池化层，用于对第五特征层输出的特征进行降维，得到表情图像的语义特征；所述时序关系推理模块，用于对所述多尺度区域特征提取网络输出的表情图像的语义特征构建相邻表情图像帧之间的时序关系；(3)将步骤(1)得到的表情序列片段输入所述动态识别模型中进行训练，得到训练好的动态表情识别模型；(4)将待识别的表情图像序列输入训练好的动态表情识别模型，得到动态表情识别结果。2.根据权利...

【专利技术属性】
技术研发人员：韩守东，刘文龙，杨子清，张宏亮，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42