脸部表情识别方法和装置制造方法及图纸

本公开提供了脸部表情识别方法和装置，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域。具体实施方式包括：将脸部图像中各个图像位置的特征中的待处理特征，生成待处理特征的查询向量、键向量和值向量；确定查询向量和待处理特征以外的其它特征的键向量的点乘结果，并确定为相关度，并对相关度进行预设处理；将预设处理结果与其它特征的值向量的乘积，确定为待处理特征相对于其它特征的目标特征；确定待处理特征相对于各个其它特征的目标特征之和；基于多头自注意力网络得到的和确定表情类别。本公开不再止步于孤立地确定每个图像位置的特征，而是建立了不同位置的特征之间的联系，从而增强了表情的识别准确度。

【技术实现步骤摘要】
脸部表情识别方法和装置
本公开涉及人工智能
，具体涉及计算机视觉和深度学习
，可应用于智慧城市和智慧金融场景下，尤其涉及脸部表情识别方法和装置。
技术介绍
表情可以通过面部表达感情。具体地，表情是情绪的主观体验的外化表现。比如，表情可以包括愤怒、厌恶、恐惧、高兴、中性和伤心。在现有技术中，进行表情识别一般采用分类器进行，比如可以采用支持向量机。即便如此，表情的识别依然有较大难度。例如，生气和恐惧这两种表情，在面部的表现是较为相似的，给表情识别带来了较大的难度。
技术实现思路
提供了一种脸部表情识别方法、装置、电子设备以及存储介质。根据第一方面，提供了一种脸部表情识别方法，包括：获取脸部图像中各个图像位置的特征；将各个图像位置的特征中的待处理特征，通过表情识别模型的多头自注意力网络执行如下步骤：生成待处理特征的查询向量、键向量和值向量；确定查询向量和待处理特征以外的其它特征的键向量的点乘结果，将该点乘结果作为待处理特征与其它特征之间的相关度，并对相关度进行预设处理；将预设处理结果与其它特征的值向量的乘积，确定为待处理特征相对于其它特征的目标特征；确定待处理特征相对于各个其它特征的目标特征之和；基于多头自注意力网络得到的和确定表情类别。根据第二方面，提供了一种脸部表情识别装置，包括：获取单元，被配置成获取脸部图像中各个图像位置的特征；执行单元，被配置成将各个图像位置的特征中的待处理特征，通过表情识别模型的多头自注意力网络执行如下步骤：生成单元，被配置成生成待处理特征的查询向量、键向量和值向量；相关度确定单元，被配置成确定查询向量和待处理特征以外的其它特征的键向量的点乘结果，将该点乘结果作为待处理特征与其它特征之间的相关度，并对相关度进行预设处理；目标确定单元，被配置成将预设处理结果与其它特征的值向量的乘积，确定为待处理特征相对于其它特征的目标特征；和确定单元，被配置成确定待处理特征相对于各个其它特征的目标特征之和；类别确定单元，被配置成基于多头自注意力网络得到的和确定表情类别。根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行脸部表情识别方法中任一实施例的方法。根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行根据脸部表情识别方法中任一实施例的方法。根据第五方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据脸部表情识别方法中任一实施例的方法。根据本公开的方案，图像位置的特征之间的相关度表示不同图像位置的特征之间的联系。因而，本公开实施例可以不再止步于孤立地确定每个图像位置的特征，而是建立了不同位置的特征之间的联系，从而增强了表情的识别准确度。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显：图1是本公开一些实施例可以应用于其中的示例性系统架构图；图2是根据本公开的脸部表情识别方法的一个实施例的流程图；图3是根据本公开的脸部表情识别方法的一个应用场景的示意图；图4是根据本公开的脸部表情识别方法的又一个实施例的流程图；图5是根据本公开的脸部表情识别方法的又一个实施例的流程图；图6是根据本公开的脸部表情识别装置的一个实施例的结构示意图；图7是用来实现本公开实施例的脸部表情识别方法的电子设备的框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。本公开中的表情识别模型并不是针对某一特定用户的表情识别模型，并不能反映出某一特定用户的个人信息，其构建过程符合相关法律法规。本公开中的脸部图像可以来自于公开数据集，或者脸部图像的获取是经过了脸部图像对应的用户的授权本公开中，脸部表情识别方法的执行主体可以通过各种公开、合法合规的方式获取脸部图像，例如可以是从公开数据集处获取的，或者是经过了用户的授权从用户处获取的。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。图1示出了可以应用本公开的脸部表情识别方法或脸部表情识别装置的实施例的示例性系统架构100。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频类应用、直播应用、即时通信工具、邮箱客户端、社交平台软件等。这里的终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对接收到的脸部图像等数据进行分析等处理，并将处理结果(例如表情识别结果，可以是表情类别)反馈给终端设备。需要说明的是，本公开实施例所提供的脸部表情识别方法可以由服务器105或者终端设备101、102、103执行，相应地，脸部表情识别装置可以设置于服务器105或者终端设备101、102、103中。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。继续参考图2，示出了根据本公开的脸部表情识别方法的一个实施例的流程200。该脸部表情识别方法，包括以下步骤：步骤201，获取脸部图像中各个图像位置的特征。在本实施例中，脸部表情识别方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以获取脸部图像中各个图像位置的特征。脸部图像中的脸部可以是各种包含脸本文档来自技高网...

【技术保护点】
1.一种脸部表情识别方法，所述方法包括：/n获取脸部图像中各个图像位置的特征；/n将所述各个图像位置的特征中的待处理特征，通过表情识别模型的多头自注意力网络执行如下步骤：/n生成所述待处理特征的查询向量、键向量和值向量；/n确定所述查询向量和所述待处理特征以外的其它特征的键向量的点乘结果，将该点乘结果作为所述待处理特征与所述其它特征之间的相关度，并对所述相关度进行预设处理；/n将预设处理结果与所述其它特征的值向量的乘积，确定为所述待处理特征相对于所述其它特征的目标特征；/n确定所述待处理特征相对于各个其它特征的目标特征之和；/n基于所述多头自注意力网络得到的所述和确定表情类别。/n

【技术特征摘要】
1.一种脸部表情识别方法，所述方法包括：
获取脸部图像中各个图像位置的特征；
将所述各个图像位置的特征中的待处理特征，通过表情识别模型的多头自注意力网络执行如下步骤：
生成所述待处理特征的查询向量、键向量和值向量；
确定所述查询向量和所述待处理特征以外的其它特征的键向量的点乘结果，将该点乘结果作为所述待处理特征与所述其它特征之间的相关度，并对所述相关度进行预设处理；
将预设处理结果与所述其它特征的值向量的乘积，确定为所述待处理特征相对于所述其它特征的目标特征；
确定所述待处理特征相对于各个其它特征的目标特征之和；
基于所述多头自注意力网络得到的所述和确定表情类别。


2.根据权利要求1所述的方法，其中，所述表情识别模型还包括掩膜生成网络；
所述获取脸部图像中各个图像位置的特征，包括：
获取所述脸部图像，对所述脸部图像进行卷积处理，得到初始特征图；
通过所述掩膜生成网络，对所述初始特征图生成掩膜特征图，其中，所述掩膜特征图中，亮度越大的位置的特征对所述脸部图像的表情类别的指示度越大；
根据所述掩膜特征图，生成所述脸部图像中各个图像位置的特征。


3.根据权利要求2所述的方法，其中，所述掩膜生成网络包括并行的多个掩膜生成网络；
所述通过所述掩膜生成网络，对所述初始特征图生成掩膜特征图，包括：通过所述多个掩膜生成网络，对所述初始特征图生成多个掩膜特征图；以及
所述根据所述掩膜特征图，生成所述脸部图像中各个图像位置的特征，包括：
将所述多个掩膜特征图中各个掩膜特征图的亮度最大的位置的特征，集中为一个新的掩膜特征图；
将该新的掩膜特征图与所述初始特征图进行融合，并提取出所述融合结果中各个位置的特征，作为所述脸部图像中各个图像位置的特征。


4.根据权利要求3所述的方法，其中，所述表情识别模型的训练结构包括第一丢弃层；
在所述表情识别模型的训练过程的前向传播中，所述通过所述多个掩膜生成网络，对所述初始特征图生成多个掩膜特征图，包括：
通过所述多个掩膜生成网络中的每个掩膜生成网络，对所述初始特征图确定该掩膜生成网络对应的掩膜特征图；
通过所述第一丢弃层，在所确定的掩膜特征图中随机选取出掩膜特征图，将该掩膜特征图的亮度修改为第一预设值，得到包括亮度修改后的掩膜特征图的多个掩膜特征图。


5.根据权利要求1-4之一所述的方法，其中，所述表情识别模型的训练结构中，所述多头自注意力网络包括第二丢弃层；
在所述表情识别模型的训练过程的前向传播中，所述各个特征的所述和的确定步骤，包括：
通过所述第二丢弃层，在所述多头自注意力网络中，随机选取出一个自注意力网络，将该自注意力网络中各个特征的所述和修改为第二预设值，得到从所述第二丢弃层输出的、所述各个特征的所述和。


6.根据权利要求5所述的方法，其中，所述基于所述多头自注意力网络得到的所述和确定表情类别，包括：
对所述多头自注意力网络得到的各个特征的所述和，与从所述第二丢弃层输出的、所述各个特征的所述和，进而加和处理，得到加和处理结果；
通过所述感知机层，对所述加和处理结果确定表情类别，其中，感知机层包括多层感知机。


7.一种脸部表情识别装置，所述装置包括：
获取单元，被配置成获取脸部图像中各个图像位置的特征；
执行单元，被配置成将所述各个图像位置的特征中的待处理特征，通过表情识别模型的多头自注意力网络执行如下步骤：
生成单元，被配置成生成所述待处理特征的查询向量、键向量和值向量；
相关度确定单元，被配置成确定所述查询向量和所述待处理特征以外的其它特征的键向量的点乘结果，将该点乘结果作为所述待处理特征与所述其它特征之间的相关度，并对所...

【专利技术属性】
技术研发人员：薛方磊，王强昌，郭国栋，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11