一种基于双向时间卷积网络的视频序列人脸表情识别算法制造技术

本发明专利技术公开了一种基于双向时间卷积网络的视频序列人脸表情识别算法，包括数据输入、特征提取、卷积计算和输出结果四个步骤；数据输入：输入一组待识别的包含人脸的视频序列，通过图像缩放将序列中各图像变换到指定尺寸的图像；特征提取：将所述人脸视频序列输入时空特征提取模块，输出得到人脸时空特征图；卷积计算：将所述人脸时空特征图输入双向时间卷积网络模块，输出得到人脸特征向量；输出结果：将所述人脸特征向量输入全连接层，再使用Softmax层分类，最终输出得到人脸表情识别结果；本发明专利技术通过提取人脸视频序列时空特征，充分利用人脸视频序列的时空关系识别人脸表情，提高了表情识别的精确度和有效性。提高了表情识别的精确度和有效性。

【技术实现步骤摘要】
一种基于双向时间卷积网络的视频序列人脸表情识别算法


[0001]本专利技术涉及图像识别
，具体是一种基于双向时间卷积网络的视频序列人脸表情识别算法。

技术介绍

[0002]人脸表情识别是指根据给定的人脸图像识别出人脸表情，例如，生气、厌恶、恐惧、伤心、惊讶、高兴和中性等。目前人脸表情识别已经广泛应用于教育、心理学及人机交互等领域。
[0003]神经网络是一种端到端的机器学习方法，可以在模型训练过程中学习图像特征提取的能力；卷积神经网络(CNN)作为计算机视觉领域的一种重要方法，在提取图像特征信息上具有非常好的效果，在表情识别任务上也取得了优秀的研究成果。
[0004]常见的表情识别方法大多针对单张静态图像确定人物的表情类别，然而表情是一个连续的变化过程，视频序列能反应一个表情的完整变化过程，基于视频序列的人脸识别方法能够更准确地预测人物的表情；针对视频序列问题的处理，需要改进卷积神经网络，使得在提取图像空间特征的同时，也能提取时间特征。
[0005]循环神经网络(RNN)用于处理序列数据，网络对之前的输入具有记忆能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双向时间卷积网络的视频序列人脸表情识别算法，其特征在于，包括数据输入、特征提取、卷积计算和输出结果四个步骤；其中，步骤1，数据输入：输入一组待识别的包含人脸的视频序列，通过图像缩放将序列中各图像变换到指定尺寸的图像；步骤2，特征提取：将所述人脸视频序列输入时空特征提取模块，输出得到人脸时空特征图；步骤3，卷积计算：将所述人脸时空特征图输入双向时间卷积网络模块，输出得到人脸特征向量；步骤4，输出结果：将所述人脸特征向量输入全连接层，再使用Softmax层分类，最终输出得到人脸表情识别结果。2.根据权利要求1所述的一种基于双向时间卷积网络的视频序列人脸表情识别算法，其特征在于，特征提取步骤具体包括：步骤2.1、输入视频序列为D帧图像，每帧图像大小为C*H*W，即长为H像素，宽为W像素，有C个通道的图像，将图像序列按时间顺序组合为C*D*H*W的数组，作为时空特征提取模块的输入；步骤2.2、使用3D卷积神经网络层提取图像序列的时空特征，C3D层的卷积核大小为C*d*h*w，其中d为卷积核的深度，h为卷积核的长度，w为卷积核的宽度，卷积核的通道个数C与输入图像通道相同；深度为，长宽为的输出结果按公式卷积计算得到，其中为输入图像数值，为卷积核数值；对每个相邻的d帧图像在C个通道上进行卷积操作，得到时空特征图；步骤2.3、将所述时空特征图输入激活函数，使用ReLU函数作为激活函数，ReLU函数取输入值和0之间的最大值作为输出，ReLU函数公式为，通过单侧抑制过滤掉特征图中有效性低的特征分量；步骤2.4...

【专利技术属性】
技术研发人员：邱宾，薛峰，佟剑瑞，胡静松，
申请(专利权)人：安徽中科有智科技有限公司，
类型：发明
国别省市：