一种人脸面部动作单元强度回归方法、装置和介质制造方法及图纸

本发明专利技术公开了一种人脸面部动作单元强度回归方法、装置和介质，本发明专利技术属于图像处理技术领域，该方法包括：步骤S1，通过分层与多尺度区域学习提取输入人脸图像序列的多尺度的局部时空特征；步骤S2，在多尺度局部时空特征图上执行全局时空特征学习；步骤S3，根据全局时空特征得到代表人脸不同区域的k个局部时空特征，并针对不同的面部动作单元执行单独的局部关系学习，得到局部关系特征向量；步骤S4，通过一个两层的全连接网络，根据局部关系特征向量执行面部动作单元强度回归。如此，通过引入分层与多尺度的区域学习，能够很好地适应分布在人脸不同区域并具有不同尺度的AU，提升网络对面部AU强度回归的性能。面部AU强度回归的性能。面部AU强度回归的性能。

【技术实现步骤摘要】
一种人脸面部动作单元强度回归方法、装置和介质


[0001]本专利技术涉及图像处理
，具体涉及一种人脸面部动作单元强度回归 方法、装置和介质。

技术介绍

[0002]人脸面部动作单元强度回归属于情感计算(Affective Computing)领域， 而情感计算最初由Picard教授于1997年提出，其表示随着计算机技术的发展， 计算机已经开始具备表达和识别情感的能力，并且可能很快就会具备“具有情 感”的能力。而正如神经学研究所表明的那样，情感在人类认知和感知中起着 重要的作用，所以情感计算不仅能使计算机更好地协助人类，还能增强计算机 的决策能力。具体来说，情感计算是指与情感相关，来源于情感或能够对情感 施加影响的计算。情感计算的应用非常广泛，涉及诸如学习、信息检索、通信、 娱乐、健康以及交互等诸多领域。
[0003]情感计算的一个基本问题就是情感识别。其目标就在于识别面部动作的出 现或其所表达的情绪。人脸面部表情的呈现离不开面部肌肉的驱动，所以为了 探究不同的面部肌肉动作和不同的表情之间的对应关系，心理学家Paul Ekman 及其工作伙伴Wallace Friesen通过观察和生物反馈创制了面部动作编码系统 (FACS)。他们根据人脸的解剖学特点，将其划分成若干既相互独立又互相联 系的动作单元(AU)，并分析了这些AU的运动特征及其所控制的主要区域以 及与之相关的表情。现如今广泛使用的FACS于1978年首次发布，后在2002 年进行了实质性的更新。FACS包含了多个面部动作单元(Action Unit,AU)， 每一个AU都编码了某一面部区域的构型信息，例如AU 12为Lip CornerPuller，其编码了唇角附近的构型信息。
[0004]情感识别系统的研究经过了多年的发展已经取得了很好的成果。其中，自 动面部AU检测和强度估计成为了计算机视觉领域一个主要的问题并在许多 领域有着诸多应用。例如，在健康医疗方面，可以帮助医生了解病人的心理状 态；在人机交互方面，可以帮助机器理解人的情感，丰富人机交互的内容；在 教育方面，可以帮助老师了解学生的学习状态以及效果；此外，在广告、娱乐 等方面也有着多种多样的应用以及广阔的前景。自动面部AU检测和强度估计 已经经过了数十年的研究，众多研究者已经提出了许多非常优秀的方法。这些 方法可以大致分为传统方法和深度学习方法。其中传统方法一般利用人工定义 特征表示人脸图像，再通过分类器进行AU识别。而随着多年的发展，以卷积 神经网络(Convolutional Neural Network,CNN)为代表的深度学习方法展示了 非常强大的力量。近些年来自动面部AU检测方面的工作已经取得了相当不错 的成果，但更加精准的AU检测以及AU强度回归仍有很大的研究空间。
[0005]综上所述，研究更加精准的AU连续强度值回归方法显得更加重要。因此， 亟需一种新的人脸面部AU强度回归方法来进一步深入人脸相关的情感计算 研究。

技术实现思路

[0006]为此，本专利技术提供一种人脸面部动作单元强度回归方法，以解决现有技术 中的上述问题。
[0007]为了实现上述目的，本专利技术提供如下技术方案：
[0008]根据本专利技术的第一方面，一种人脸面部动作单元强度回归方法，包括：
[0009]步骤S1，通过分层与多尺度区域学习提取输入人脸图像序列的多尺度的局 部时空特征；
[0010]步骤S2，在所述多尺度局部时空特征图上执行全局时空特征学习；
[0011]步骤S3，根据全局时空特征得到代表人脸不同区域的k个局部时空特征， 并针对不同的面部动作单元执行单独的局部关系学习，得到局部关系特征向 量；
[0012]步骤S4，通过一个两层的全连接网络，根据局部关系特征向量执行面部动 作单元强度回归。
[0013]进一步地，所述步骤S1中，所述分层与多尺度区域学习采用(2+1)D卷积， 即假设代表人脸图像序列的输入大小为d
×
l
×
l，先在空间维度(l
×
l)上执行2D 卷积提取空间特征，之后再在时间维度(d)上执行1D卷积提取时间特征，并 且分层与多尺度区域学习块包含四个卷积层，第一个卷积层为普通的(2+1)D 卷积，第二、第三和第四个卷积层分别均匀划分为6
×
6、4
×
4和2
×
2个区域， 且(2+1)D的卷积核权重仅在局部区域内共享，每一层的输入均是前一层的卷 积结果，通过连接第二、第三和第四个卷积层的输出并与第一个卷积层的输出 逐元素相加得到多尺度的局部时空特征，分层与多尺度区域学习模块由两个分 层与多尺度区域学习块和组成。
[0014]进一步地，所述步骤S2中，由基于(2+1)D卷积和2D卷积的全局特征学 习模块捕获整个面部的结构和纹理等空间特征以及时序变化信息，该模块由三 个卷积块构成——P
(2+1)D
(l/4,d/4,4c)、P
(2+1)D
(l/8,d/8,8c)以及P(l/16,8c)，其中前 两个卷积块执行(2+1)D卷积，最后一个卷积块执行2D卷积。
[0015]进一步地，所述步骤S3中，局部关系学习基于双向长短期记忆网络设计， 全局特征学习模块输出的特征图大小为8c
×1×
l/32
×
l/32，特征图中的每个元素 (8c
×1×1×
1)都编码了面部某一区域的局部时空信息，因此可以使用特征图上的 每个元素作为局部面部区域的表示，并使用它来执行局部关系学习，这样可以 得到l/32
×
l/32个局部特征，通过双向长短期记忆网络进行局部关系学习得到 用于AU回归的特征向量，具体来说，从全局特征学习模块得到了k个局部特 征f1,f2,...,f
k
，将所有局部特征馈送至一个两层的堆叠的双向长短期记忆网络中 进行局部关系学习，连接第二层双向长短期记忆网络输出的k个隐藏状态向量 h1,h2,...,h
k
得到一个局部关系特征向量，由于不同的AU具有不同的肌肉激活， 并且各个局部特征对回归不同AU的贡献也应不同，因此，对于每个AU都应 有一个对应的双向长短期记忆网络结构进行局部关系学习，设L(k,8c,4c,2c)表 示基于双向长短期记忆网络的局部关系学习块，表示双向长短期记忆网络的时 间步长为k，输入向量长度为8c，第一层双向长短期记忆网络和第二层双向长 短期记忆网络输出的隐藏状态向量长度分别为4c和2c，这样对于c个AU，共 有c个局部关系学习块L1(k,8c,4c,2c),L2(k,8c,4c,2c),...,L
c
(k,8c,4c,2c)，且会得到c 个局部关系特征向量最后，对这c个局
部关系特征向量进行逐元 素求和得到一个局部关系特征向量。
[0016]根据本专利技术第二方面，一种人脸面部动作单元强度回归装置，包括：
[0017]分层与多尺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人脸面部动作单元强度回归方法，其特征在于，包括：步骤S1，通过分层与多尺度区域学习提取输入人脸图像序列的多尺度的局部时空特征；步骤S2，在所述多尺度局部时空特征图上执行全局时空特征学习；步骤S3，根据全局时空特征得到代表人脸不同区域的k个局部时空特征，并针对不同的面部动作单元执行单独的局部关系学习，得到局部关系特征向量；步骤S4，通过一个两层的全连接网络，根据局部关系特征向量执行面部动作单元强度回归。2.根据权利要求1所述的一种人脸面部动作单元强度回归方法，其特征在于，所述步骤S1中，所述分层与多尺度区域学习采用(2+1)D卷积，即假设代表人脸图像序列的输入大小为d
×
l
×
l，先在空间维度(l
×
l)上执行2D卷积提取空间特征，之后再在时间维度(d)上执行1D卷积提取时间特征，并且分层与多尺度区域学习块包含四个卷积层，第一个卷积层为普通的(2+1)D卷积，第二、第三和第四个卷积层分别均匀划分为6
×
6、4
×
4和2
×
2个区域，且(2+1)D的卷积核权重仅在局部区域内共享，每一层的输入均是前一层的卷积结果，通过连接第二、第三和第四个卷积层的输出并与第一个卷积层的输出逐元素相加得到多尺度的局部时空特征，分层与多尺度区域学习模块由两个分层与多尺度区域学习块和组成。3.根据权利要求1所述的一种人脸面部动作单元强度回归方法，其特征在于，所述步骤S2中，由基于(2+1)D卷积和2D卷积的全局特征学习模块捕获整个面部的结构和纹理等空间特征以及时序变化信息，该模块由三个卷积块构成——P
(2+1)D
(l/4,d/4,4c)、P
(2+1)D
(l/8,d/8,8c)以及P(l/16,8c)，其中前两个卷积块执行(2+1)D卷积，最后一个卷积块执行2D卷积。4.根据权利要求1所述的一种人脸面部动作单元强度回归方法，其特征在于，所述步骤S3中，局部关系学习基于双向长短期记忆网络设计，全局特征学习模块输出的特征图大小为8c
×1×
l/32
×
l/32，特征图中的每个元素(8c
×1×1×
1)都编码了面部某一区域的局部时空信息，因此可以使用特征图上的每个元素作为局部面部区域的表示，并使用它来执行局部关系学习，这样可以得到l/32
×
l/32个局部特征，通过双向长短期记忆网络进行局部关系学习得到用于AU回归的特征向量，具体来说，从全局特征学习模块得到了k个局部特征f1,f2,...,f
k
，将所有局部特征馈送至一个两层的堆叠的双向长短期记忆网络中进行局部关系学习，连接第二层双向长短期记忆网络输出的k个隐藏状态向量h1,h2,...,h
k
得到一个局部关系特征向量，由于不同的AU具有不同的肌肉激活，并且各个局部特征对回归不同AU的贡献也应不同，因此，对于每个AU都应有一个对应的双向长短期记忆网络结构进行局部关系学习，设L(k,8c,4c,2c)表示基于双向长短期记忆网络的局部关系学习块，表示双向长短期记忆网络的时间步长为k，输入向量长度为8c，第一层双向长短期记忆网络和第二层双向长短期记忆网络输出的隐藏状态向量长度分别为4c和2c，这样对于c个AU，共有c个局部关系学习块L1(k,8c,4c,2c),L2(k,8c,4c,2c),...,L
c
(k,8c,4c,2c)，且会得到c个局部关系特征向量最后，对这c个局部关系特征向量进行逐元素求和得到一个局部关系特征向量。5.一种人脸面部动作单元强度回归装置，其特征在于，包括：
分层与多尺度区域学习模块，被配置为通过分层与多尺度区域学习提取输入人脸...

【专利技术属性】
技术研发人员：吕科，魏超，薛健，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：