一种表情识别方法及装置制造方法及图纸

本公开提供了一种表情识别方法及装置。该方法包括：获取待识别图像；根据所述待识别图像，得到所述待识别图像的图像特征图；根据所述图像特征图，确定全局特征信息和局部特征信息；根据所述全局特征信息和所述局部特征信息，确定所述待识别图像的表情类型。由于待识别图像的全局特征信息反映人脸的整体信息，待识别图像的局部特征信息反映了人脸各个区域的细节信息，因此可以通过局部特征信息和全局特征信息有效的结合，恢复更多的人脸表情的图像细节信息，这样，根据所述全局特征信息和所述局部特征信息所确定的待识别图像的表情类型更加准确，即可以提高待检测图像对应的表情类型识别结果的精确度，进而提高了用户体验。进而提高了用户体验。进而提高了用户体验。

【技术实现步骤摘要】
一种表情识别方法及装置


[0001]本公开涉及计算机
，尤其涉及一种表情识别方法及装置。

技术介绍

[0002]随着图像处理技术的发展，图像识别技术在越来越多的场景均得到应用。目前的图像识别技术在识别人脸表情方面取得了很好的效果，但是在复杂场景下，比如人脸的关键部位被遮挡，或者，由于身体姿势的不同(比如侧身)导致不能采集到完整的人脸，导致无法识别人脸表情或者人脸表情的识别结果不准确。因此，亟需一种新的表情识别的方案。

技术实现思路

[0003]有鉴于此，本公开实施例提供了一种表情识别方法、装置、计算机设备及计算机可读存储介质，以解决现有技术中在复杂场景下，比如人脸的关键部位被遮挡，或者，由于身体姿势的不同(比如侧身)导致不能采集到完整的人脸，导致无法识别人脸表情或者人脸表情的识别结果不准确的问题。
[0004]本公开实施例的第一方面，提供了一种表情识别方法，所述方法包括：
[0005]获取待识别图像；
[0006]根据所述待识别图像，得到所述待识别图像的图像特征图；
[0007]根据所述图像特征图，确定全局特征信息和局部特征信息；
[0008]根据所述全局特征信息和所述局部特征信息，确定所述待识别图像的表情类型。
[0009]本公开实施例的第二方面，提供了一种表情识别装置，所述装置包括：
[0010]图像获取模块，用于获取待识别图像；
[0011]第一特征获取模块，用于根据所述待识别图像，得到所述待识别图像的图像特征图；
[0012]第二特征获取模块，用于根据所述图像特征图，确定全局特征信息和局部特征信息；
[0013]表情类型确定模块，用于根据所述全局特征信息和所述局部特征信息，确定所述待识别图像的表情类型。
[0014]本公开实施例的第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序，该处理器执行计算机程序时实现上述方法的步骤。
[0015]本公开实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0016]本公开实施例与现有技术相比存在的有益效果是：本公开实施例可以先获取待识别图像；然后，可以根据所述待识别图像，得到所述待识别图像的图像特征图；接着，可以根据所述图像特征图，确定全局特征信息和局部特征信息；最后，可以根据所述全局特征信息和所述局部特征信息，确定所述待识别图像的表情类型。由于待识别图像的全局特征信息
反映人脸的整体信息，待识别图像的局部特征信息反映了人脸各个区域的细节信息，因此可以通过局部特征信息和全局特征信息有效的结合，恢复更多的人脸表情的图像细节信息，这样，根据所述全局特征信息和所述局部特征信息所确定的待识别图像的表情类型更加准确，即可以提高待检测图像对应的表情类型识别结果的精确度，进而提高了用户体验。
附图说明
[0017]为了更清楚地说明本公开实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0018]图1是本公开实施例的应用场景的场景示意图；
[0019]图2是本公开实施例提供的表情识别方法的流程图；
[0020]图3是本公开实施例提供表情识别模型的网络架构示意图；
[0021]图4是本公开实施例提供的GoF调制流程的流程示意图；
[0022]图5是本公开实施例提供的Local
‑
Global Attention结构的网络架构示意图；
[0023]图6是本公开实施例提供的全局模型的网络架构示意图；
[0024]图7是本公开实施例提供的Split
‑
Attention模块的网络架构示意图；
[0025]图8是本公开实施例提供的权重层的网络架构示意图；
[0026]图9是本公开实施例提供的表情识别装置的框图；
[0027]图10是本公开实施例提供的计算机设备的示意图。
具体实施方式
[0028]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本公开实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本公开的描述。
[0029]下面将结合附图详细说明根据本公开实施例的一种表情识别方法和装置。
[0030]在现有技术中，由于在复杂场景下，比如人脸的关键部位被遮挡，或者，由于身体姿势的不同(比如侧身)导致不能采集到完整的人脸，导致无法识别人脸表情或者人脸表情的识别结果不准确。因此，亟需一种新的表情识别的方案。
[0031]为了解决上述问题。本专利技术提供了一种表情识别方法，在本方法中，由于本实施例所提供的方法先获取待识别图像；然后，可以根据所述待识别图像，得到所述待识别图像的图像特征图；接着，可以根据所述图像特征图，确定全局特征信息和局部特征信息；最后，可以根据所述全局特征信息和所述局部特征信息，确定所述待识别图像的表情类型。由于待识别图像的全局特征信息反映人脸的整体信息，待识别图像的局部特征信息反映了人脸各个区域的细节信息，因此可以通过局部特征信息和全局特征信息有效的结合，恢复更多的人脸表情的图像细节信息，这样，根据所述全局特征信息和所述局部特征信息所确定的待识别图像的表情类型更加准确，即可以提高待检测图像对应的表情类型识别结果的精确度，进而提高了用户体验。
[0032]举例说明，本专利技术实施例可以应用到如图1所示的应用场景。在该场景中，可以包括终端设备1和服务器2。
[0033]终端设备1可以是硬件，也可以是软件。当终端设备1为硬件时，其可以是具有采集图像、存储图像功能且支持与服务器2通信的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、数码照像机、监控器、录像机和台式计算机等；当终端设备1为软件时，其可以安装在如上该的电子设备中。终端设备1可以实现为多个软件或软件模块，也可以实现为单个软件或软件模块，本公开实施例对此不作限制。进一步地，终端设备1上可以安装有各种应用，例如图像采集应用、图像存储应用、即时聊天应用等。
[0034]服务器2可以是提供各种服务的服务器，例如，对与其建立通信连接的终端设备发送的请求进行接收的后台服务器，该后台服务器可以对终端设备发送的请求进行接收和分析等处理，并生成处理结果。服务器2可以是一台服务器，也可以是由若干台服务器组成的服务器集群，或者还可以是一个云计算服务中心，本公开实施例对此不作限制。
[0035]需要说明的是，服务器2可以是硬件，也可以是软件。当服务器2为硬件时，其可以是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表情识别方法，其特征在于，所述方法包括：获取待识别图像；根据所述待识别图像，得到所述待识别图像的图像特征图；根据所述图像特征图，确定全局特征信息和局部特征信息；根据所述全局特征信息和所述局部特征信息，确定所述待识别图像的表情类型。2.根据权利要求1所述的方法，其特征在于，所述方法应用于表情识别模型，所述表情识别模型包括第一神经网络模型；所述根据所述待识别图像，得到所述待识别图像的图像特征图，包括：将所述待识别图像输入第一神经网络模型，得到所述待识别图像的图像特征图；其中，所述第一神经网络模型包括若干第一卷积模块，所述若干第一卷积模块依次连接，且每个第一卷积模块包括滤波器、批标准化层、MP模型和激活函数。3.根据权利要求1所述的方法，其特征在于，所述方法应用于表情识别模型，所述表情识别模型包括全局模型、局部模型；所述根据所述图像特征图，确定全局特征信息和局部特征信息，包括：将所述图像特征图输入全局模型，得到全局特征信息；将所述图像特征图输入局部模型，得到局部特征信息。4.根据权利要求3所述的方法，其特征在于，所述全局模型包括第一卷积层、H
‑
Sigmoid激活函数层、通道注意力模块、空间注意力模块和第二卷积层；所述将所述图像特征图输入全局模型，得到全局特征信息，包括：将所述图像特征图输入所述第一卷积层，得到第一特征图；将所述第一特征图输入所述H
‑
Sigmoid激活函数层，得到第二特征图；将所述第二特征图输入所述通道注意力模块，得到通道注意力图；将所述通道注意力图输入到所述空间注意力模块，得到空间注意力图；将所述空间注意力图输入到所述第二卷积层，得到所述全局特征信息。5.根据权利要求3所述的方法，其特征在于，所述局部模型包括N个局部特征提取卷积层、注意力模块，其中，N为大于1的正整数；所述将所述图像特征图输入局部模型，得到局部特征信息，包括：根据所述图像特征图，生成N个局部图像块；分别将各个局部图像块输入各个局部特征提取卷积层，得到N个局部特征图；将所述N个局部特征图输入所述注意力模块，得到局部特征信息。6.根据权利要求5所述的方法，其特征在于，所述注意力模块包括池化层、第二卷积模块、N个第三卷积层和归一化层；所述将所述N个局部特征图输入所述注意力...

【专利技术属性】
技术研发人员：蒋召，黄泽元，祁晓婷，
申请(专利权)人：深圳集智数字科技有限公司，
类型：发明
国别省市：