基于局部注意力模型的面部表情动作单元对抗合成方法技术

本发明专利技术涉及计算机视觉和情感计算等领域，为增加AU表情数据集的多样性和普适性，本发明专利技术采取的技术方案是，基于局部注意力模型的面部表情动作单元对抗合成方法，通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的质量。本发明专利技术主要应用于图像处理、人脸识别等场合。

Face expression and action unit antagonism synthesis method based on local attention model

The invention relates to the fields of computer vision, emotion calculation, etc. in order to increase the diversity and universality of Au expression data set, the technical scheme adopted in the invention is that the facial expression action unit confrontation synthesis method based on the local attention model extracts the feature of the Au area of the facial movement unit through the local attention model, and then generates the confrontation of the local area, and finally The Au intensity of the enhanced data is evaluated to detect the quality of the generated image. The invention is mainly applied to image processing, face recognition and other occasions.

【技术实现步骤摘要】
基于局部注意力模型的面部表情动作单元对抗合成方法
：本专利技术涉及计算机视觉和情感计算等领域，尤其涉及一种基于条件对抗自编码器(ConditionalAdversarialAutoencoder，CAAE)和局部注意力模型(LocalAttentionModel)相结合的人脸表情运动单元合成方法，该方法可以被广泛用于数据增强、提高人脸表情识别模型精度等应用。
技术介绍
：面部表情能够揭示人的内心活动、精神状态以及向外传达的社交行为。随着人工智能的发展，以人为中心的面部表情识别已逐渐受到业界和学术界的普遍关注。在面部表情分析领域，人类表情的标注方式主要有两种：基于情感类别的标注(如：喜悦、愤怒等)和基于面部运动编码系统(FacialActionCodingSystem,FACS)的标注。前者属于主观标注，适用于表情识别和理解领域；后者根据面部肌肉运动将面部表情分解成30多个具有不同强度的主要运动单元AU(ActionUnits)进行更加客观定量标注，更适用于对面部表情的合成和控制领域，而且AU的检测与识别对于理解和描述人脸表情有着重要的意义。基于此，面部的AU检测与分析已逐渐成为计算机视觉领域和情感计算领域的热门研究内容之一。虽然已有方法对AU标注已经取得一些进展，但是由于面部AU标注非常复杂，现有的AU表情数据集的相对较小，依赖于大量复杂样本的深度模型很难应用于AU分析,导致现有的AU识别与检测仍多基于传统的手工特征和分类模型，应用识别模型和识别结果难以满足复杂环境下表情分析的需求。此外，现有AU数据的不均衡现象严重，也影响了AU识别和检测模型的准确率。因此，如何对现有的AU数据集从数据规模和标签均衡性等方面进行扩充，以满足基于深度模型的AU检测和识别的需求以及解决数据集标签不均衡问题，已经成为本领域亟需解决的一个问题。由于面部AU标注的复杂性，且容易受到不同脸型、不同表情、不同光照及脸部姿势的影响，基于AU标注的人脸面部表情运动单元合成仍然面临不少挑战和困难，难以得到广泛应用。而现有对AU生成的技术，普遍存在丢失细节、缺乏真实性等问题。为克服现有技术的不足，本专利技术旨在建立一种新的基于条件对抗自编码器，并结合局部注意力模型的人脸表情运动单元合成方法，对任意人脸图像上多个局部AU进行任意强度和任意组合的具有一定自然度的人脸表情合成，以用于增加AU表情数据集的多样性和普适性。本专利技术可以被广泛用于数据增强、提高人脸识别模型精度等应用，进而来解决目前AU检测器训练数据标注不足和样本标签不均衡等问题。
技术实现思路
：为克服现有技术的不足，本专利技术旨在增加AU表情数据集的多样性和普适性，本专利技术采取的技术方案是，基于局部注意力模型的面部表情动作单元对抗合成方法，通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的质量。具体步骤如下：(1)首先，通过局部注意力模型对人脸的局部区域进行特征提取，并基于条件对抗自编码生成模型对局部注意力模型提取的AU特征分布进行学习和建模，形成去除原有AU强度后的人脸特征向量；随后，在自编码生成器的特征层加入指定AU强度的标签信息，从而生成相应AU强度的图像,以达到改变AU强度的效果，从而，建立指定不同强度不同组合的面部运动单元标注与局部注意力模型所提取的初始AU特征分布之间的有效映射；(2)然后，通过条件自编码器对抗生成模型中的判别器对生成指定AU强度的人脸图像的真实度进行判别，同局部注意力对抗生成模型的生成结果进行博弈优化；(3)最后，将能够生成目标表情的模型参数应用于面部表情运动单元的生成模型中，实现对不平衡AU数据集的增强与扩充，并将所生成的数据应用于提高AU识别模型精度的工作当中。步骤(1)中，将基于人脸关键点的AU高斯分布区域作为局部注意力模型的初始化输入，通过AU的识别损失函数对AU的注意力区域进行学习，其识别损失函数的计算方式如下：其中，Rau(*)是AU注意力区域重定义模型，Dau(*)是预训练AU强度识别模型，是已知AU强度标注的输入图像，y0是的AU强度标注，是均方差损失函数MSE(Meansquarederror)，是局部注意力模型所学习出的AU注意力区域；局部AU生成器将采用条件对抗自编码网络模型CAAE实现对任意给定面部AU编码进行面部表情运动单元合成，CAAE模型通过生成器和判别器两个子系统的目标博弈，实现将所关注的AU信息去除，形成保留除AU以外的人脸身份信息，然后在CAAE的特征层加入所期望的指定AU编码，进而实现对不同AU编码条件下面部表情运动特征分布的有效合成；然后，将所有的局部面部运动单元整合成全局人脸，从而保留初始人脸非AU注意力区域的特征性。步骤(2)中，CAAE模型是将局部输入的人脸表情区域，进行编码生成隐变量z,将隐变量z与真实的标注l进行融合，作为生成器decoder的输入，生成与l标注强度相同的AU；再将生成的AU区域与真实的表情区域送入判别器D中，进行博弈对抗训练；与此同时，中间生成的隐变量z与均匀分布P(z)进行对抗训练，从而使z更服从于除AU表情信息以外的面部信息分布。其生成z的对抗损失计算如下：其中，Log(*)是以2为底的对数函数，Dz(*)是z判别器的输出，z*是均匀分布，x是服从于数据集的图像分布，E(*)是编码器(encoder)的输出，是对服从均匀分布的z求均方差损失，是对服从原数据概率分布pdata(x)的x求均方差损失。其生成局部AU的对抗损失计算如下：其中，x,l是服从输入数据集的相互对应的图像和AU标注,Dimg(*)是图像的判别器，G(*)是生成器decoder的输出，对服从pdata(x,l)的概率分布求均方差损失；然后，将所有的局部面部运动单元整合成全局人脸，从而保留初始人脸非AU注意力区域的特征性，其计算公式如下：其中，It是生成的目标图像，Is是输入的原始图像，Gi(Is×ri,yi)是生成器(decoder)对第i个AU区域的输出，ri对应单一AU的注意力区域，yi是目标图像的AU标注，n是AU类别的数量。步骤(3)中，将增强数据集与原数据集分别训练深度模型后，计算深度模型识别AU强度的准确率是否存在差异。所选用的评估标准是绝对平均损失MAE(MeanAbsoluteError)，其计算方式如下：是第i个样本的第j个AU的真实标注，是第i个样本的第j个AU的预测结果，N表示样本数量，M表示单个样本AU的数量。本专利技术的特点及有益效果是：(1)本专利技术最大的创新点在于提出了一种基于局部注意力模型和条件对抗自编码生成模型的AU编码人脸面部表情运动合成系统，可以实现对不同强度的面部运动单元实现有效合成，具有重要的研究和应用价值；(2)本专利技术利用人工智能前沿技术—深度学习方法构建的自然面部表情运动单元生成算法能够实现真实人脸任意强度任本文档来自技高网...

【技术保护点】
1.一种基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的质量。/n

【技术特征摘要】
1.一种基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，通过局部注意力模型对面部运动单元AU区域进行特征提取，然后对局部区域进行对抗生成，最后再对增强数据进行AU强度的评估，以检测生成图像的质量。


2.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，具体步骤细化如下：
步骤(1)，通过局部注意力模型对人脸的局部区域进行特征提取，并基于条件对抗自编码生成模型对局部注意力模型提取的AU特征分布进行学习和建模，形成去除原有AU强度后的人脸特征向量；随后，在自编码生成器的特征层加入指定AU强度的标签信息，从而生成相应AU强度的图像,以达到改变AU强度的效果，从而，建立指定不同强度不同组合的面部运动单元标注与局部注意力模型所提取的初始AU特征分布之间的有效映射；
步骤(2)，通过条件自编码器对抗生成模型中的判别器对生成指定AU强度的人脸图像的真实度进行判别，同局部注意力对抗生成模型的生成结果进行博弈优化；
步骤(3)，将能够生成目标表情的模型参数应用于面部表情运动单元的生成模型中，实现对不平衡AU数据集的增强与扩充，并将所生成的数据应用于提高AU识别模型精度的工作当中。


3.如权利要求1所述的基于局部注意力模型的面部表情动作单元对抗合成方法，其特征是，步骤(1)中，将基于人脸关键点的AU高斯分布区域作为局部注意力模型的初始化输入，通过AU的识别损失函数对AU的注意力区域进行学习，其识别损失函数的计算方式如下：






其中，Rau(*)是AU注意力区域重定义模型，Dau(*)是预训练AU强度识别模型，是已知AU强度标注的输入图像，y0是的AU强度标注，是均方差损失函数MSE(Meansquarederror)，是局部注意力模型所学习出的AU注意力区域；
局部AU生成器将采用条件对抗自编码网络模型CAAE实现对任意给定面部AU编码进行面部表情运动单元合成，CAAE模型通过生成器和判别器两个子系统的目标博弈，实现将所关注的AU信息去除，形成保留除AU以外的人脸身份信息，然后在CAAE的特征层加入所期望的指定AU编码，进而实现对不同AU编码条件下面...

【专利技术属性】
技术研发人员：刘志磊，张翠翠，刘迪一，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12