一种表情识别方法及装置制造方法及图纸

本发明专利技术实施例提供了一种表情识别方法，所述方法包括：获取动态图像，检测出所述动态图像中的人脸区域；截取所述人脸区域作为第一图像组；对所述第一图像组进行光流处理，得到所述人脸区域的光流图像组，作为第二图像组；将所述第一图像组和第二图像组输入至预先训练得到的双流卷积神经网络中进行处理，得到表情识别结果。利用本方案进行表情识别，能够考虑到动态图像中的表情变化情况，从而提高了表情识别的准确性。

An expression recognition method and device

The embodiment of the invention provides an expression recognition method, which comprises: acquiring a dynamic image to detect the face region in the dynamic image; intercepting the face region as a first image group; performing optical flow processing on the first image group to obtain the optical flow image group of the face region as a second image group; The first image group and the second image group are input to the pre-trained two-stream convolution neural network for processing, and the expression recognition result is obtained. This scheme can take into account the expression changes in the dynamic images and improve the accuracy of expression recognition.

【技术实现步骤摘要】
一种表情识别方法及装置
本专利技术涉及图像处理
，特别是涉及一种表情识别方法及装置。
技术介绍
随着人工智能的发展，在人机交互、实时监控、自动驾驶以及社交网络等领域中，计算机越来越需要理解人类的内心情感。而表情是人类表达内心情感的最主要的方式之一，因此，计算机对表情的识别技术对于计算机理解人类的内心情感显得尤为重要。现有的表情识别方案通常包括：获取大量样本图像，利用样本图像对预设的神经网络进行迭代训练，利用训练完成的神经网络识别待识别图像中的表情。但是，在上述识别方案中，样本图像为单张静态图像，训练完成的神经网络也主要是针对静态图像进行表情识别。而在对连续的动态图像进行分析，比如对一段视频图像进行分析，或者对一张动图进行分析时，利用上述神经网络进行表情识别，并不能考虑到动态图像中的表情变化情况，进而造成表情识别不准确。
技术实现思路
本专利技术实施例的目的在于提供一种表情识别方法及装置，以提高表情识别的准确性。具体技术方案如下：本专利技术实施例提供了一种表情识别方法，所述方法包括：获取动态图像，检测出所述动态图像中的人脸区域；截取所述人脸区域作为第一图像组；对所述第一图像组进行光流处理，得到所述人脸区域的光流图像组，作为第二图像组；将所述第一图像组和第二图像组输入至预先训练得到的双流卷积神经网络中进行处理，得到表情识别结果。可选的，所述截取所述人脸区域作为第一图像组，包括：从所述动态图像中，截取出所述人脸区域；对所截取出的人脸区域进行归一化处理；将归一化处理后的人脸区域转化为灰度图像，得到第一图像组。可选的，所述将所述第一图像组和第二图像组输入至预先训练得到的双流卷积神经网络中进行处理，得到表情识别结果，包括：将所述第一图像组输入至预先训练得到的双流卷积神经网络中的空间域卷积网络中，提取所述第一图像组的特征值；将所述第二图像组输入至预先训练得到的双流卷积神经网络中的时间域卷积网络中，提取所述第二图像组的特征值；将所述第一图像组的特征值和所述第二图像组的特征值进行加权融合，得到融合结果，对所述融合结果进行分类，得到表情识别结果。可选的，所述将所述第一图像组输入至预先训练得到的双流卷积神经网络中的空间域卷积网络中，提取所述第一图像组的特征值，包括：将所述第一图像组输入至预先训练得到的双流卷积神经网络中的空间域卷积网络中，利用预设大小的卷积核进行卷积处理，对卷积处理的结果进行池化处理，得到所述第一图像组的特征值；所述将所述第二图像组输入至预先训练得到的双流卷积神经网络中的时间域卷积网络中，提取所述第二图像组的特征值，包括：将所述第二图像组输入至预先训练得到的双流卷积神经网络中的时间域卷积网络中，利用预设大小的卷积核进行卷积处理，对卷积处理的结果进行最大池化处理，得到所述第二图像组的特征值。可选的，所述获取动态图像，包括：获取待处理视频；按照预设的间隔，从所述待处理视频抽取视频帧，作为动态图像。可选的，所述表情识别结果为：所述待处理图像中的人脸区域对应不同表情的识别概率；在所述将所述第一图像组和第二图像组输入至预先训练得到的双流卷积神经网络中进行处理，得到表情识别结果之后，所述方法还包括：根据所述表情识别结果中包括的所述识别概率，确定符合预设概率条件的表情的标识；在所述动态图像中标注所确定的表情的标识；或者，在所述动态图像中标注所述人脸区域对应不同表情的识别概率。本专利技术实施例还提供了一种表情识别装置，所述装置包括：人脸检测模块，用于获取动态图像，检测出所述动态图像中的人脸区域；图像截取模块，用于截取所述人脸区域作为第一图像组；光流处理模块，用于对所述第一图像组进行光流处理，得到所述人脸区域的光流图像组，作为第二图像组；表情识别模块，用于将所述第一图像组和第二图像组输入至预先训练得到的双流卷积神经网络中进行处理，得到表情识别结果。可选的，所述图像截取模块，具体用于从所述动态图像中，截取出所述人脸区域；对所截取出的人脸区域进行归一化处理；将归一化处理后的人脸区域转化为灰度图像，得到第一图像组。可选的，所述表情识别模块，具体用于将所述第一图像组输入至预先训练得到的双流卷积神经网络中的空间域卷积网络中，提取所述第一图像组的特征值；将所述第二图像组输入至预先训练得到的双流卷积神经网络中的时间域卷积网络中，提取所述第二图像组的特征值；将所述第一图像组的特征值和所述第二图像组的特征值进行加权融合，得到融合结果，对所述融合结果进行分类，得到表情识别结果。可选的，所述表情识别模块，具体用于将所述第一图像组输入至预先训练得到的双流卷积神经网络中的空间域卷积网络中，利用预设大小的卷积核进行卷积处理，对卷积处理的结果进行池化处理，得到所述第一图像组的特征值；将所述第二图像组输入至预先训练得到的双流卷积神经网络中的时间域卷积网络中，利用预设大小的卷积核进行卷积处理，对卷积处理的结果进行最大池化处理，得到所述第二图像组的特征值。本专利技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的表情识别方法。本专利技术实施例提供的表情识别方法及装置，通过检测待处理图像中的人脸区域，并对人脸区域进行光流处理，将得到的人脸区域及对应的人脸区域的光流图像输入至预先训练得到的双流卷积神经网络中进行处理，得到表情识别结果，由于双流卷积神经网络可以同时对人脸区域及对应的人脸区域的光流图像进行表情识别处理，而光流图像中可以携带动态图像中的表情变化信息，可见，利用本方案进行表情识别时，能够考虑到动态图像中的表情变化情况，提高了表情识别的准确性。当然，实施本专利技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种表情识别方法的架构图；图2为本专利技术实施例提供的一种表情识别方法的流程示意图；图3为矩形特征级联分类器模型示意图；图4为本实施例提供的表情识别算法的一种网络模型构架图；图5为本专利技术实施例提供的一种表情识别装置的结构示意图；图6为本专利技术实施例提供的一种电子设备的示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。为了解决现有技术中，在对连续的动态图像进行分析，比如对一段视频图像进行分析，或者对一张动图进行分析时，利用由单张静态样本图像训练得到的神经网络进行表情识别，并不能考虑到动态图像中的表情变化情况，进而造成表情识别不准确的问题，本专利技术提出了一种表情识别方法及装置。下面从总体上对本专利技术实施例提供的表情识别方法进行说明。本专利技术的一种实现方式中，上述表情识别方法包括：获取动态图像，检测出所述动态图像中的人脸区域；截取所述人脸区域作为第一图像组；对所述第一图像组进行光流处理，得到所述人脸区域的光流图像组，作为本文档来自技高网...

【技术保护点】
1.一种表情识别方法，其特征在于，所述方法包括：获取动态图像，检测出所述动态图像中的人脸区域；截取所述人脸区域作为第一图像组；对所述第一图像组进行光流处理，得到所述人脸区域的光流图像组，作为第二图像组；将所述第一图像组和第二图像组输入至预先训练得到的双流卷积神经网络中进行处理，得到表情识别结果。

【技术特征摘要】
1.一种表情识别方法，其特征在于，所述方法包括：获取动态图像，检测出所述动态图像中的人脸区域；截取所述人脸区域作为第一图像组；对所述第一图像组进行光流处理，得到所述人脸区域的光流图像组，作为第二图像组；将所述第一图像组和第二图像组输入至预先训练得到的双流卷积神经网络中进行处理，得到表情识别结果。2.根据权利要求1所述的方法，其特征在于，所述截取所述人脸区域作为第一图像组，包括：从所述动态图像中，截取出所述人脸区域；对所截取出的人脸区域进行归一化处理；将归一化处理后的人脸区域转化为灰度图像，得到第一图像组。3.根据权利要求2所述的方法，其特征在于，所述将所述第一图像组和第二图像组输入至预先训练得到的双流卷积神经网络中进行处理，得到表情识别结果，包括：将所述第一图像组输入至预先训练得到的双流卷积神经网络中的空间域卷积网络中，提取所述第一图像组的特征值；将所述第二图像组输入至预先训练得到的双流卷积神经网络中的时间域卷积网络中，提取所述第二图像组的特征值；将所述第一图像组的特征值和所述第二图像组的特征值进行加权融合，得到融合结果，对所述融合结果进行分类，得到表情识别结果。4.根据权利要求3所述的方法，其特征在于，所述将所述第一图像组输入至预先训练得到的双流卷积神经网络中的空间域卷积网络中，提取所述第一图像组的特征值，包括：将所述第一图像组输入至预先训练得到的双流卷积神经网络中的空间域卷积网络中，利用预设大小的卷积核进行卷积处理，对卷积处理的结果进行池化处理，得到所述第一图像组的特征值；所述将所述第二图像组输入至预先训练得到的双流卷积神经网络中的时间域卷积网络中，提取所述第二图像组的特征值，包括：将所述第二图像组输入至预先训练得到的双流卷积神经网络中的时间域卷积网络中，利用预设大小的卷积核进行卷积处理，对卷积处理的结果进行最大池化处理，得到所述第二图像组的特征值。5.根据权利要求1所述的方法，其特征在于，所述获取动态图像，包括：获取待处理视频；按照预设的间隔，从所述待处理视频抽取视频帧，作为动态图像。6.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：黄海，祝轶哲，田耒，景晓军，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11