表情识别方法、装置、设备及计算机存储介质制造方法及图纸

本申请公开了表情识别方法、装置、设备及计算机存储介质，涉及计算机视觉、深度学习等人工智能技术领域。具体实现方案为：根据包含人脸图像的目标图像获得输入数据；将所述输入数据输入表情识别模型，获得识别结果，所述表情识别模型包括至少一层时序偏移模块和二维卷积神经网络结合的特征提取层；根据所述表情识别模型的识别结果，确定所述目标图像的人脸表情类型。本申请实施例能够提高表情识别的时效性和准确性。效性和准确性。效性和准确性。

【技术实现步骤摘要】
表情识别方法、装置、设备及计算机存储介质


[0001]本申请涉及计算机
，尤其涉及计算机视觉、深度学习等人工智能


技术介绍

[0002]随着图像处理技术的发展，通过图像可以获得很多信息，比如人脸识别信息、表情识别信息等。
[0003]表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪。表情识别技术可以应用于多种领域，具有广阔的发展前景。如何更为准确地识别表情、快速得到表情识别结果，是表情识别技术的一个重要的研究方向。

技术实现思路

[0004]本申请提供了一种表情识别方法、装置、设备以及计算机存储介质。
[0005]根据本申请的一方面，提供了一种表情识别方法，包括：
[0006]根据包含人脸图像的目标图像获得输入数据；
[0007]将所述输入数据输入表情识别模型，获得识别结果，所述表情识别模型包括至少一层时序偏移模块(TSM，Time Shift Module)和二维(2D)卷积神经网络结合的特征提取层；
[0008]根据所述表情识别模型的识别结果，确定所述目标图像的人脸表情类型。
[0009]根据本申请的另一方面，提供了一种表情识别的装置，包括：
[0010]输入数据获得模块，用于根据包含人脸图像的目标图像获得输入数据；
[0011]识别模块，用于将所述输入数据输入表情识别模型，获得识别结果，所述表情识别模型包括至少一层时序偏移模块和二维卷积神经网络结合的特征提取层；
[0012]表情类型确定模块，用于根据所述表情识别模型的识别结果，确定所述目标图像的人脸表情类型。
[0013]根据本申请的又一方面，提供了一种电子设备，包括：
[0014]至少一个处理器；以及
[0015]与至少一个处理器通信连接的存储器；其中，
[0016]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本申请任意一项实施例所提供的方法。
[0017]根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本申请任意一项实施例所提供的方法。
[0018]根据本申请的又一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现上述方法。
[0019]根据本申请提供的技术方案，将目标图像输入表情识别模型的时序转偏移模块和2D卷积神经网络，首先采用时序偏移模块对输入数据进行时序偏移操作，然后采用2D卷积
神经网络进行空间维度的特征提取，从而使得输入数据的时空信息都能够被提取到，提高了表情识别结果的准确性。同时，时序偏移模块和2D卷积神经网络的数据处理量都不大，计算速度较快，保证了表情识别的时效性。
[0020]应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0021]附图用于更好地理解本方案，不构成对本申请的限定。其中：
[0022]图1是根据本申请一实施例的表情识别方法示意图；
[0023]图2是根据本申请一实施例的表情识别方法数据处理过程示意图；
[0024]图3是根据本申请一示例的脸部特征点示意图；
[0025]图4是根据本申请一实施例的表情识别装置示意图；
[0026]图5是根据本申请另一实施例的表情识别装置示意图；
[0027]图6是根据本申请另一实施例的表情识别装置示意图；
[0028]图7是根据本申请另一实施例的表情识别装置示意图；
[0029]图8是用来实现本申请实施例的表情识别方法的电子设备的框图。
具体实施方式
[0030]以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0031]本申请实施例首先提供一种表情识别方法，如图1所示，包括：
[0032]步骤S101：根据包含人脸图像的目标图像获得输入数据；
[0033]步骤S102：将所述输入数据输入表情识别模型，获得识别结果，所述表情识别模型包括至少一层时序偏移模块和二维卷积神经网络结合的特征提取层；
[0034]步骤S103：根据所述表情识别模型的识别结果，确定所述目标图像的人脸表情类型。
[0035]在一种实施方式中，所述表情识别模型可以为视觉几何小组VGG模型，所述VGG模型包含多层所述特征提取层。
[0036]本申请实施例中，根据包含人脸图像的目标图像获得输入数据，可以是将包含人脸图像的目标图像进行转换，生成适宜于输入表情识别模型的数据。
[0037]包含人脸图像的目标图像，可以是从视频中提取出的帧图像，也可以是图像拍摄装置拍摄获得的图像。
[0038]目标图像中包含的人脸，可以是完整的人脸，也可以是被遮挡的部分人脸。
[0039]将所述输入数据输入表情识别模型，获得识别结果，具体可以是将输入数据输入表情识别模型，采用表情识别模型的至少一个二维卷积神经网络和时序偏移模块结合的特征提取层进行处理，得到识别结果。
[0040]本实施例中，针对特征提取层，输入数据首先经过时序偏移模块进行时序偏移处
理，然后经过二维卷积神经网络进行二维卷积处理。
[0041]在表情识别模型包括多个特征提取层的情况下，将输入数据依次输入第1个特征提取层、第2个特征提取层
……
第n个特征提取层。
[0042]在表情识别模型包括多个特征提取层的情况下，将输入数据依次输入第1个特征提取层的时序偏移模块、第1个特征提取层的二维卷积神经网络层、第2个特征提取层的时序偏移模块、第2个特征提取层的二维卷积神经网络层
……
第n个特征提取层的时序偏移模块、第n个特征提取层的二维卷积神经网络层。
[0043]根据识别结果，确定目标图像的人脸表情类型，具体可以包括将识别结果依次输入表情识别模型的全连接层等处理层，获得目标图像中的人脸表情分类结果。
[0044]人脸表情类型，具体可以包括人脸表情属于各表情分类的概率。比如，表情识别模型能够识别喜、怒、哀、乐四种表情分类，表情识别模型输出的人脸表情类型具体可以是人脸表情属于喜、怒、哀、乐四种表情的概率，比如：喜10％、怒10％、哀10％、乐70％。
[0045]本申请实施例中，将目标图像首先经过表情识别模型的特征提取层的时序偏移模块进行处理，然后经过二维卷积神经网络进行处理，从而，输入数据经过时序偏移模块处理后，会在时序上产生偏移，从而后续在二维卷积神经网络中处理，进行空间本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情识别方法，包括：根据包含人脸图像的目标图像获得输入数据；将所述输入数据输入表情识别模型，获得识别结果，所述表情识别模型包括至少一层时序偏移模块和二维卷积神经网络结合的特征提取层；根据所述表情识别模型的识别结果，确定所述目标图像的人脸表情类型。2.根据权利要求1所述的方法，其中，所述表情识别模型为视觉几何小组VGG模型，所述VGG模型包含多层所述特征提取层。3.根据权利要求1所述的方法，其中，所述目标图像包括多个帧图像；所述根据包含人脸图像的目标图像获得输入数据之前，还包括：从视频中提取包括人脸图像的所述多个帧图像；对所述多个帧图像进行人脸识别，得到所述多个帧图像的人脸区域；对所述多个帧图像的人脸区域进行关键点检测，得到人脸关键点的坐标；根据所述人脸关键点的坐标，进行人脸区域对齐。4.根据权利要求3所述的方法，其中，所述根据包含人脸图像的目标图像获得输入数据，还包括：根据所述人脸关键点的坐标，将所述多个帧图像的人脸区域调整至同样大小；获得调整后的人脸区域所包括的人脸关键点的新坐标；根据调整后的人脸区域以及所述新坐标，获得所述输入数据。5.根据权利要求1
‑
4中任意一项所述的方法，其中，所述将所述目标图像输入表情识别模型，获得识别结果，包括：采用所述时序偏移模块对所述输入数据进行时序偏移操作；采用所述二维卷积神经网络对所述时序偏移操作处理后的输入数据进行空间维度的卷积操作；根据所述卷积操作处理后的输入数据，获得识别结果。6.一种表情识别的装置，包括：输入数据获得模块，用于根据包含人脸图像的目标图像获得输入数据；识别模块，用于将所述输入数据输入表情识别模型，获得识别结果，所述表情识别模型包括至少一层时序偏移模块和二维卷积神经网络结合的特征提取层；表情类型确定模块，用于根据所述表情识别模型的识别结果，确定所述目标图像的人脸表情类型。7.根据权利要求6所述的装置，其中，所述表情识别模型为视觉几何小...

【专利技术属性】
技术研发人员：王珂尧，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：