【技术实现步骤摘要】
本专利技术涉及图像识别，尤其涉及一种基于空间特征的图像序列表情识别方法。
技术介绍
1、面部表情是反映人类情绪最为重要的途径之一，研究表明，现实生活中超过半数的人际交流与面部表情的传递相关。近年来，得益于算力和存储空间的大幅提升，智能计算取得了长足的进展；而人机交互作为智能化服务的重要环节，正受到越来越多的重视；在人机交互领域，人脸检测与识别技术已经日趋完善，继而，随着交互技术的深入发展，带有情感的交流需求在日益增长；面部表情识别作为情感交互的核心问题，逐渐成为该领域的一项研究热点；这个方向的研究将有效提升智能服务的质量，其发展成果将对各行各业，例如，医疗卫生、自动驾驶、智能教育和刑事侦查等，产生深远的影响。
2、深度学习极大的促进了面部表情识别技术的发展，卷积神经网络广泛的运用于表情识别的各个处理环节。从数据来源上，面部表情识别可以分为单幅图像的表情识别和基于视频的图像序列表情识别两种类型。无疑，相对于单幅图像，图像序列包含了更加丰富的信息，展现了面部动作的变化过程，因此，基于图像序列的方法能够更加准确的识别出面部的表情。同时，监控设备已经大面积普及，视频应用更加贴近社会生产与生活中的日常场景。然而，比起单幅图像，视频的数据量剧增，如果无法快速处理，及时响应，势必影响图像序列表情识别在实际中的应用；因此，既能高效的处理大量图像信息，同时又能得到良好的识别效果，是图像序列表情识别追求的目标。
技术实现思路
1、本专利技术实施例所要解决的技术问题在于，提供一种基于空间特征
2、为了解决上述技术问题，本专利技术实施例提供了一种基于空间特征的图像序列表情识别方法，包括以下步骤：
3、s1：将包含人脸的视频逐帧保存为图像序列；
4、s2：对所述图像序列进行预处理，并通过计算图像表情强度梯度，对所述图像序列进行筛选；
5、s3：对筛选得到的图像序列中的每一幅图像，使用卷积块注意力模块提取图像的空间特征；
6、s4：对s3提取得到的图像特征图进行融合处理，根据图像序列的时序特性，构建图像的时序融合网络，多幅图像的特征图以并行输入到所述时序融合网络中进行处理，输入融合特征图；
7、s5：将所述融合特征图输入到卷积神经网络中进行表情识别，再使用softmax函数对7维表情向量进行归一化处理，得到各类表情的概率，完成图像序列的人脸表情识别。
8、其中，所述s2具体包括步骤：
9、s21：检测所述s1的图像序列中每一幅图像的人脸位置，并裁剪出标准大小的人脸图像；
10、s22：计算图像表情强度梯度，根据梯度门限，提取待识别人脸图像序列。
11、其中，所述s3中所使用的卷积块注意力模块由通道注意力模块和空间注意力模块构成，图像先经过所述通道注意力模块处理，得到通道注意力特征，再将输入图像与所述通道注意力特征相乘作为所述空间注意力模块的输入，得到空间注意力特征，再把原图像与通道注意力模块的处理结果合成为卷积注意力模块的整体输出。
12、其中，所述s4中使用特征融合矩阵g构建时序融合网络，所述特征融合矩阵形式为： g=(d+i)-1 *(at +i)，其中a、d为表示图像时序关系特征的 n*n大小的矩阵，n为图像序列的长度；a、d的形式为：
13、
14、。
15、实施本专利技术实施例，具有如下有益效果：本专利技术有效地减轻了计算量，并使用并行输入到融合网络中进行处理的方式，对图像信息处理的效率和效果加以优化，在整体上得到均衡的提升。
本文档来自技高网...【技术保护点】
1.一种基于空间特征的图像序列表情识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于空间特征的图像序列表情识别方法，其特征在于，所述S2具体包括步骤：
3.根据权利要求2所述的基于空间特征的图像序列表情识别方法，其特征在于，所述S3中所使用的卷积块注意力模块由通道注意力模块和空间注意力模块构成，图像先经过所述通道注意力模块处理，得到通道注意力特征，再将输入图像与所述通道注意力特征相乘作为所述空间注意力模块的输入，得到空间注意力特征，再把原图像与通道注意力模块的处理结果合成为卷积注意力模块的整体输出。
4.根据权利要求3所述的基于空间特征的图像序列表情识别方法，其特征在于，所述S4中使用特征融合矩阵G构建时序融合网络，所述特征融合矩阵形式为：G=(D+I)-1*(AT+I)，其中A、D为表示图像时序关系特征的n*n大小的矩阵，n为图像序列的长度；A、D的形式为：
【技术特征摘要】
1.一种基于空间特征的图像序列表情识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于空间特征的图像序列表情识别方法，其特征在于，所述s2具体包括步骤：
3.根据权利要求2所述的基于空间特征的图像序列表情识别方法，其特征在于，所述s3中所使用的卷积块注意力模块由通道注意力模块和空间注意力模块构成，图像先经过所述通道注意力模块处理，得到通道注意力特征，再将输入图像与所述通道...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。