一种基于物理特性和分布特性的人脸运动单元检测方法技术

本发明专利技术涉及一种基于物理特性和分布特性的人脸运动单元检测方法，其特征在于，该方法基于预训练的人脸运动单元检测模型对一组图片序列进行处理，获取人脸运动单元检测结果，所述人脸运动单元检测模型包括依次连接的交叉拼接网络和长短期记忆网络。与现有技术相比，本发明专利技术首次考虑并解决了不同人脸运动单元之间数据分布不均衡问题，进一步提升了人脸运动单元检测效果。

A method of face motion unit detection based on physical characteristics and distribution characteristics

The invention relates to a face motion unit detection method based on physical characteristics and distribution characteristics, which is characterized in that the method processes a group of picture sequences based on the pre trained face motion unit detection model, and obtains the face motion unit detection results. The face motion unit detection model includes a successively connected cross splicing network and a long and short term memory network. Compared with the prior art, the invention for the first time considers and solves the problem of unbalanced data distribution between different face motion units, and further improves the detection effect of face motion units.

【技术实现步骤摘要】
一种基于物理特性和分布特性的人脸运动单元检测方法
本专利技术涉及计算机
，尤其是涉及一种基于物理特性和分布特性的人脸运动单元检测方法。
技术介绍
人的面部表情分析是人工智能的重要领域，而人脸运动单元(AU，actionunit，)的检测对于人面部表情分析来说至关重要。人的面部表情是人的脸部肌肉动作导致的，脸部动作编码系统把一块或多块肌肉的动作称为一个个人脸运动单元。人脸部几乎所有的表情都可以用一个人脸运动单元或多个人脸运动单元的组合表示。例如：笑可以用脸颊上提(AU6)和嘴角上扬(AU12)组合表示，如图3所示。人脸运动单元检测，就是要根据图片或者视频检测出来某人脸上出现了哪几种人脸运动单元，比如一个人笑了，就很可能会出现脸颊上提(AU6)和嘴角上扬(AU12)。对于人的面部表情分析而言，研究人员一般会把人的面部表情(Emotion)分为七类：高兴(Happiness)、忧伤(Sadness)、惊讶(Surprise)、恐惧(Fear)、生气(Anger)、厌恶(Disgust)和蔑视(Contempt)，称为普适的面部表情。其中的每种表情都可以用AU的组合来表示，这七种面部表情与人脸运动单元的对应关系如表1所示。因此，能检测出人脸运动单元的情况下，普适的面部表情就可以直接根据表1得到。表1普适表情与AU之间的对应关系EmotionActionunitsHappiness6+12Sadness1+4+15Surprise1+2+5B+26Fear1+2+4+5+7+20+26Anger4+5+7+23Disgust9+15+16ContemptR12A+R14A此外，现实应用场景中用普适的七种表情不足以满足人脸面部表情分析的需求，比如医院检测病人疼痛的表情，教学活动中检测学生困惑的表情等，这些表情无法用普适的七种表情来表达，就需要用AU这种详细的肌肉运动来描述。因此，AU检测对于人的面部表情分析，是非常重要的。AU检测算法就是要提取人脸特征并且分类计算出脸部有哪些AU出现了。现有的AU检测算法基本上着重于利用AU的2大物理特性去设计实验。1)时序特性，对于视频数据而言，因为AU是一个连续的动作，时序信息对于AU检测是非常重要的，比如第1秒的时候这个人在笑，第1.5秒时他还在笑的可能性是非常大的；2)AU之间的相关性，AU之间的相关性是指某些AU经常会一起出现，某些AU具备互斥特性通常不会一起出现，最典型的例子就是普适表情跟AU之间的对应关系，由于普适表情是人们日常生活中经常出现的表情，他们所对应的AU组合是经常一起出现的AU组合；3)区域特性，根据AU的定义和来源，对于具体某一种AU而言，AU是否出现只和脸部某一块区域有关，比如AU12只跟嘴角周围的区域有关，与脸部其他部分包括眼睛额头等区域无关，区域特性也可以称之为稀疏特性。目前为止的AU检测算法基本上都是利用以上提到的AU的物理特性，进行精巧的算法设计，来提升AU的检测结果。而本文所描述的算法，除了考虑到AU的物理特性(包括时序特性和AU相关性)以外，还特别考虑了AU的分布特性(分布不均衡特性)，即，不同的AU出现的概率不同，有些AU在日常生活中经常出现，而有些AU则非常少出现，从而实现更高的检测效果。AU算法基本常识：算法的输入是图片或者视频，算法的输出是判断各种AU是否存在。对于某一特定AU而言，输出只有存在和不存在两种状态，所以是个二分类问题，而由于算法是要求出多种AU都知道是否存在，所以AU检测算法要解决的问题是多标签的二分类问题，也就是说一个算法应该得到多个AU分别是否存在的结果。文献“Deepregionandmulti-labellearningforfacialactionunitdetection”(KailiZhao，WenShengChu，HonggangZhang，inComputerVisionandPatternRecognition，2016，pp.3391–3399)公开了DRML算法，DRML算法是基于典型的深度神经网络AlexNet网络结构，考虑了AU检测中的两大物理特性：区域特性和AU之间的相关性。如图4所示，DRML算法在典型的深度神经网络AlexNet网络结构基础上，删除了其他池化(pooling)层，只保留了一层池化(pooling)层，并增加一个作者自行设计的region层，用于学习脸部的区域特性。具体地，DRML网络结构输入图片为校准后的人脸图片(Alignedfaceimage)，图片大小是宽和高都是170像素的彩色像素人脸单张图片(见图4)最左侧。图片送到DRML网络，先后经过conv1(卷积层1)，region2(region层2)，pool3(池化层3)，conv4(卷积层4)，conv5(卷积层5)，conv6(卷积层6)，conv7(卷积层7)，fc8(全连接层8)，fc9(全连接层9)，outpout(输出)共10层得到12种AU的输出结果。output也是全连接层。除了region层以外，其他层都可以在深度学习框架中找到并直接调用。如图5所示，为region层(Regionlayer)的示意图。图片经过第一层卷积计算之后，得到32张宽和高都是160的特征图(featuremap)，把160×160的特征图拆分为8×8＝64块、每一块是20×20像素的小特征图，然后，把20×20像素的小特征图先后经过BN层(batchnormalizationlayer，批量正则化层)、ReLU层(ReLU函数激活层)、conv层(convolutionlayer，卷积层)，最后把所有的64块计算结果拼接起来，作为输出。因而，region层的主要物理含义是把人脸均匀分块，对每块进行单独的学习，再把对每一块的学习结果进行合并。此外，为了学习到AU之间的相关性，DRML算法在训练时采用了多标签sigmoid交叉熵函数：式中L为损失，Y为真实值(groundtruth)，即这张输入图片实际上这些AU是否存在；为算法计算出来的值，即算法检测出来图片的AU情况；N为图片数目，这是因为深度学习网络中通常是一批一批图片送入网络学习，所以N指一批有多少张图片，N为大于等于1的整数；C为标签数目，即有多少种AU需要检测，图4所示输出(output)层有12个输出，即C＝12，有12种AU需要检测是否存在；n为N的索引，c为C的索引。每种人脸运动单元的真实值可以是-1，+1，0。其中+1为正样本，即这个AU存在，-1为负样本，即这个AU不存在，0为无效。这样，每张图片的真实值都可以用12维向量表示，每一维代表一种AU。例如：[1，1，0，0，-1，-1，-1，-1，-1，-1，-1，-1]代表这张脸上出现了第1第2维所本文档来自技高网...

【技术保护点】
1.一种基于物理特性和分布特性的人脸运动单元检测方法，其特征在于，该方法基于预训练的人脸运动单元检测模型对一组图片序列进行处理，获取人脸运动单元检测结果，所述人脸运动单元检测模型包括依次连接的交叉拼接网络和长短期记忆网络。/n

【技术特征摘要】
1.一种基于物理特性和分布特性的人脸运动单元检测方法，其特征在于，该方法基于预训练的人脸运动单元检测模型对一组图片序列进行处理，获取人脸运动单元检测结果，所述人脸运动单元检测模型包括依次连接的交叉拼接网络和长短期记忆网络。


2.根据权利要求1所述的基于物理特性和分布特性的人脸运动单元检测方法，其特征在于，所述交叉拼接网络为基于交叉拼接块的VGG网络。


3.根据权利要求2所述的基于物理特性和分布特性的人脸运动单元检测方法，其特征在于，每个所述交叉拼接块包括依次连接的第一卷积层和第一激活函数，所述第一激活函数的输出与第一卷积层的输入拼接。


4.根据权利要求3所述的基于物理特性和分布特性的人脸运动单元检测方法，其特...

【专利技术属性】
技术研发人员：胡巧平，申瑞民，姜飞，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31