微表情识别方法、装置、微表情识别模型的训练方法制造方法及图纸

本申请提供一种微表情识别方法、装置、微表情识别模型的训练方法、电子设备及存储介质，该微表情识别方法包括：获取待识别图像的多个图像块；基于多头自注意力机制，分别提取所述多个图像块的自注意力特征，得到所述多个图像块的特征图；基于双通道分别学习所述特征图的注意力权重，以对所述特征图进行调整，得到目标特征图；基于所述目标特征图进行所述待识别图像的微表情识别。本申请实施例的技术方案可实现微表情的精准识别。案可实现微表情的精准识别。案可实现微表情的精准识别。

【技术实现步骤摘要】
微表情识别方法、装置、微表情识别模型的训练方法


[0001]本申请属于人工智能领域，具体而言，涉及一种微表情识别方法、装置、微表情识别模型的训练方法、电子设备及存储介质。

技术介绍

[0002]微表情由于持续时间段，肌肉起伏低，对自动识别技术提出了巨大的挑战。传统微表情识别方法一般基于手工特征，如局部二值模式、光流直方图、梯度直方图等，以此实现微表情分析，但是这些方法过分依赖先验知识，且提取的信息大多浮于表面，缺乏表征微表情的抽象特征。
[0003]近年来，基于卷积神经网络的方法得到普及，并被应用于自动识别人脸微表情，但是这类方法需要海量数据来训练模型，而微表情数据往往数量相对较少，导致无法精准识别微表情，此外，卷积神经网络的全局建模能力较弱，无法根据全局面部肌肉运动来感知微表情变化。

技术实现思路

[0004]为解决上述技术问题，本申请的实施例提供了一种微表情识别方法、装置、微表情识别模型的训练方法、电子设备、计算机可读存储介质。
[0005]根据本申请实施例的一个方面，提供了一种微表情识别方法，包括：获取待识别图像的多个图像块；基于多头自注意力机制，分别提取所述多个图像块的自注意力特征，得到所述多个图像块的特征图；基于双通道分别学习所述特征图的注意力权重，以对所述特征图进行调整，得到目标特征图；基于所述目标特征图进行所述待识别图像的微表情识别。
[0006]在一实施例中，所述基于多头自注意力机制，分别提取所述多个图像块的自注意力特征，得到所述多个图像块的特征图，包括：/>[0007]将所述多个图像块划分为不同的图像块集合；
[0008]针对不同的图像块集合分别提取各图像块集合的集合自注意力特征；
[0009]将所述各图像块集合的集合自注意力特征进行特征拼接，得到所述多个图像块的特征图。
[0010]在一实施例中，所述多个图像块包括含有人脸关键点的第一集合以及不含人脸关键点的第二集合；所述基于双通道分别学习所述特征图的注意力权重，以对所述特征图进行调整，得到目标特征图，包括：
[0011]基于双通道分别学习所述第一集合的特征图以及所述第二集合的特征图，对应得到第一注意力权重和第二注意力权重；
[0012]基于所述第一注意力权重调整所述第一集合的特征图，并基于所述第二注意力权重调整所述第二集合的特征图；
[0013]将经调整的第一集合的特征图和经调整的第二集合的特征图进行拼接，得到所述目标特征图。
[0014]在一实施例中，在所述基于双通道分别学习所述第一集合的特征图以及所述第二集合的特征图，对应得到第一注意力权重和第二注意力权重之前，所述方法还包括：
[0015]定位所述待识别图像中的人脸关键点；
[0016]将所述多个图像块中包含所述人脸关键点的图像块作为所述第一集合，并将所述多个图像块中不包含所述人脸关键点的图像块作为所述第二集合。
[0017]在一实施例中，所述定位所述待识别图像中的人脸关键点，包括：
[0018]获取所述待识别图像中的初始人脸关键点；
[0019]在所述初始人脸关键点中去除面部轮廓相关的关键点，得到第一关键点；
[0020]基于所述第一关键点，定位所述待识别图像中的脸颊所在位置，得到第二关键点；
[0021]将所述第一关键点与所述第二关键点作为所述人脸关键点。
[0022]在一实施例中，所述基于所述第一关键点，定位所述待识别图像中的脸颊所在位置，得到第二关键点，包括：
[0023]在所述第一关键点中选取目标关键点集合；
[0024]计算所述目标关键点集合中关键点之间的中心点；
[0025]将所述中心点进行固定偏移，并将进行固定偏移后的中心点以及所述中心点作为第二关键点。
[0026]根据本申请实施例的一个方面，提供了一种微表情识别模型的训练方法，包括：将待训练图像输入至初始的微表情识别模型，以在所述初始的微表情识别模型，将所述待训练图像的多个训练图像块进行随机蒙版失活处理，以基于多头自注意力机制，得到进行随机蒙版失活处理的多个训练图像块的训练特征图，并基于双通道对所述训练特征图进行调整，得到目标训练特征图，以及基于所述目标训练特征图得到训练预测结果；根据预先训练的教师模型针对所述待训练图像所输出的预测结果，以及所述训练预测结果对所述初始的微表情识别模型进行训练。
[0027]根据本申请实施例的一个方面，提供了一种微表情识别装置，包括：图像块获取模块，配置为获取待识别图像的多个图像块；特征图获取模块，配置为基于多头自注意力机制，分别提取所述多个图像块的自注意力特征，得到所述多个图像块的特征图；目标特征图模块，配置为基于双通道分别学习所述特征图的注意力权重，以对所述特征图进行调整，得到目标特征图；微表情识别模块，配置为基于所述目标特征图进行所述待识别图像的微表情识别。
[0028]根据本申请实施例的一个方面，提供了一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个计算机程序，当所述一个或多个计算机程序被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的微表情识别方法或微表情识别模型的训练方法。
[0029]根据本申请实施例的一个方面，提供了一种计算机可读存储介质，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的微表情识别方法或微表情识别模型的训练方法。
[0030]根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机
指令，使得该计算机设备执行上述各种可选实施例中提供的微表情识别方法或微表情识别模型的训练方法。
[0031]在本申请的实施例所提供的技术方案中，多头自注意力机制深度挖掘待识别图像的特征，并通过双元通道感知单元自适应学习特征向量不同通道的重要性，以此精准实现微表情识别。
[0032]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
[0033]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
[0034]图1是本申请涉及的一种实施环境的示意图；
[0035]图2是本申请的一示例性实施例示出的微表情识别方法流程图；
[0036]图3是本申请的一示例性实施例示出的微表情识别模型的结构图；
[0037]图4是图2中所示实施例的步骤S230在一示例性实施例中的流程图；
[0038]图5是图2中所示实施例的步骤S250在一示例性实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种微表情识别方法，其特征在于，包括：获取待识别图像的多个图像块；基于多头自注意力机制，分别提取所述多个图像块的自注意力特征，得到所述多个图像块的特征图；基于双通道分别学习所述特征图的注意力权重，以对所述特征图进行调整，得到目标特征图；基于所述目标特征图进行所述待识别图像的微表情识别。2.根据权利要求1所述的方法，其特征在于，所述基于多头自注意力机制，分别提取所述多个图像块的自注意力特征，得到所述多个图像块的特征图，包括：将所述多个图像块划分为不同的图像块集合；针对不同的图像块集合分别提取各图像块集合的集合自注意力特征；将所述各图像块集合的集合自注意力特征进行特征拼接，得到所述多个图像块的特征图。3.根据权利要求1所述的方法，其特征在于，所述多个图像块包括含有人脸关键点的第一集合以及不含人脸关键点的第二集合；所述基于双通道分别学习所述特征图的注意力权重，以对所述特征图进行调整，得到目标特征图，包括：基于双通道分别学习所述第一集合的特征图以及所述第二集合的特征图，对应得到第一注意力权重和第二注意力权重；基于所述第一注意力权重调整所述第一集合的特征图，并基于所述第二注意力权重调整所述第二集合的特征图；将经调整的第一集合的特征图和经调整的第二集合的特征图进行拼接，得到所述目标特征图。4.根据权利要求3所述的方法，其特征在于，在所述基于双通道分别学习所述第一集合的特征图以及所述第二集合的特征图，对应得到第一注意力权重和第二注意力权重之前，所述方法还包括：定位所述待识别图像中的人脸关键点；将所述多个图像块中包含所述人脸关键点的图像块作为所述第一集合，并将所述多个图像块中不包含所述人脸关键点的图像块作为所述第二集合。5.根据权利要求4所述的方法，其特征在于，所述定位所述待识别图像中的人脸关键点，包括：获取所述待识别图像中的初始人脸关键点；在所述初始人脸关键点中去除面部轮廓相关的关键点，得到第一关键点；基于所述第一关键点，定位所述待识别图像中的脸颊...

【专利技术属性】
技术研发人员：陶江龙，胡治满，于亚洲，陶和平，闫帅，张艺严，申润业，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：