一种基于多任务学习的轻量化人脸姿态估计方法技术

技术编号:37573662 阅读:18 留言:0更新日期:2023-05-15 07:51
本发明专利技术公开了一种基于多任务学习的轻量化人脸姿态估计方法,利用了人脸姿态与特征点的强相关性设计了以倒置残差作为主干网络的轻量化人脸对齐与姿态估计模型,模型中的姿态估计任务网络使用低维信息量的姿态旋转矩阵作为输出来表示人脸姿态,能解决欧拉角连续旋转导致的信息丢失问题,并解决普通旋转矩阵的信息冗余问题;同时,模型中引入人脸对齐任务网络与姿态估计任务网络构成序列共享策略的单分支网络,来对姿态估计任务网络处理得到的中间特征图继续进行倒置残差下采样和卷积处理,得到人脸特征点坐标矩阵;据此进行人脸对齐与姿态估计,能够减少多任务学习模型的复杂度,并经过多任务学习,能很好的保证人脸姿态估计与对齐的精度。估计与对齐的精度。估计与对齐的精度。

【技术实现步骤摘要】
一种基于多任务学习的轻量化人脸姿态估计方法


[0001]本专利技术计算机视觉图像处理技术及人工智能交互
,尤其涉及一种基于多任务学习的轻量化人脸姿态估计方法。

技术介绍

[0002]头部姿态估计在计算机视觉中一般定义为根据包含头部的数字图像,利用机器学习的方法估计该图像中的头部与摄像机之间的相对偏转角度,通常人的头部姿态有三个自由度方向,分别是水平方向上的偏航角、垂直方向上的俯仰角和图像平面上的旋转角。在身份验证、安全驾驶以及人机交互等方面需求的背景下,头部姿态估计作为这些实际应用中的关键问题,近年来在计算机视觉和机器学习领域得到了越来越多的关注。例如:在身份验证领域,头部姿态估计预先估计人脸的朝向,从而有利于下一步特征点的定位与之后的处理;在安全驾驶领域,头部姿态估计可以辅助视线估计,从而实现对驾驶员注意力的监控;在人机交互领域,头部姿态估计可以辅助表情识别进行行为预测等。
[0003]人脸图像研究中,姿态估计任务较少作为直接端到端任务,通常是人脸对齐、三维重建等任务的辅助产物。因人脸特征点与人脸姿态具有密切相关性,传统方法由人脸特征点计算出头部姿态,准确度依赖人脸对齐算法,而极端姿态会对人脸对齐准确性有很大影响,导致大姿态下估计的姿态误差较大。
[0004]作为估计人脸姿态的经典方法,N点透视投影(Perspective

n

point,PnP)(可参见文献“Lepetit V,Moreno

Noguer F,Fua P.Epnp:An accurate o(n)solution to the pnp problem[J].International journal of computer vision,2009”)利用了二维图像中的特征点与人脸姿态之间依赖关系,根据特征点构建通用人脸模型、求解旋转矩阵得到人脸姿态信息;PnP方法的准确性与特征点定位,通用人脸模型参数的选取相关,因此预测的姿态误差较大。FDN(可参见文献“Zhang H,Wang M,Liu Y,et al.FDN:Feature decoupling network for head pose estimation[C]//Proceedings of the AAAI Conference on Artificial Intelligence.2020”)使用一个带有特征解耦模块的三分支网络来预测每个姿态角,并根据真实标签与预测标签的离散程度设计了新的损失函数,其结果优于单一RGB图像作为输入的先进方法。FSA

Net(可参见文献“Yang T Y,Chen Y T,Lin Y Y,et al.Fsa

net:Learning fine

grained structure aggregation for head pose estimation from a single image[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2019”)利用空间分组特征的细粒度结构映射结合不同的激活函数,获取图像特征预测欧拉角。HopeNet(可参见文献“Ruiz N,Chong E,Rehg J M.Fine

grained head pose estimation without keypoints[C]//Proceedings of the IEEE conference on computer vision and pattern recognition workshops.2018”)设计了一个多重损失的神经网络,将欧拉角使用共同特征提取,使用三个不同的分支回归得到不同角度,每个分支由全连接层与SoftMax激活函数构成,并使用两个不同的损失函数分别调整粗粒度和细粒度的回归。QuatNet(可参见文献

Hsu H W,Wu T Y,Wan S,et al.Quatnet:Quaternion

based head pose estimation with multiregression loss[J].IEEE Transactions on Multimedia,2018”)将分类和回归划分为单独的网络分支,使用四元数表示姿态信息,一个分支用于对欧拉角进行分类,另一个分支对姿态进行回归。WHENet(可参见文献“Yijun Zhou and James Gregson,“Whenet:Real

time fine

grained estimation for wide range head pose,”in 31st British Machine Vision Conference 2020,BMVC 2020,Virtual Event,UK,September 7

10,2020”)建立了新的数据集来预测360
°
的欧拉角范围。MNN(可参见文献“Valle R,Buenaposada J M,Baumela L.Multi

task head pose estimation in

the

wild[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2020”)使用多任务学习将人脸对齐和姿态估计在重新标注的数据集上进行训练得到更优结果。SynergyNet(可参见文献“Wu C Y,Xu Q,Neumann U.Synergy between 3DMM and 3D Landmarks for Accurate 3D Facial Geometry[C]//2021International Conference on 3DVision(3DV).IEEE,2021”)利用三维重建使人脸姿态估计平均误差达到了最低。
[0005]以上深度学习方法追求人脸姿态估计的高准确度,但所使用的信息过度冗余,使得估计模型参数量巨大,模型占用的数据容量大小上通常达到百兆,已经难以部署在嵌入式设备等轻量化计算载体上,限制了人脸姿态估计技术的更广泛应用。

技术实现思路

[0006]针对现有及技术存在的不足,本专利技术提供了一种基于多任务学习的轻量化人脸姿态估计方法,用以解决人脸姿态估计模型的信息过度冗余、数据容量占用巨大的问题,更有利于部署在嵌入式设备等轻量化计算载体上得以更广泛应用。
[0007]为了解决上述技术问题,本专利技术采用如下技术方案:
[0008]一种基于多任务学习的轻量化人脸姿态估计方法,获取待处理人脸图像,利用卷积网络提取所述待处理人脸图像得到相应的卷积特征图,然后将待处理人脸图像的卷积特征图输入至经过本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于多任务学习的轻量化人脸姿态估计方法,其特征在于,获取待处理人脸图像,利用卷积网络提取所述待处理人脸图像得到相应的卷积特征图,然后将待处理人脸图像的卷积特征图输入至经过预先训练的轻量化人脸对齐与姿态估计模型,得到待处理人脸图像的人脸对齐与姿态估计信息;所述轻量化人脸对齐与姿态估计模型包括基于倒置残差的姿态估计任务网络和基于倒置残差的人脸对齐任务网络;所述姿态估计任务网络用于对待处理人脸图像的卷积特征图进行倒置残差处理和卷积处理,将倒置残差处理得到的待处理人脸图像的中间特征图输出至人脸对齐任务网络,并对姿态估计任务网络内的各处理结果进行全连接多尺度融合处理,得到待处理人脸图像的姿态旋转矩阵;所述人脸对齐任务网络用于对所述中间特征图进一步进行倒置残差处理和卷积处理,并对人脸对齐任务网络内的各处理结果进行全连接多尺度融合处理,得到待处理人脸图像的人脸特征点坐标矩阵;所述待处理人脸图像的姿态旋转矩阵和人脸特征点坐标矩阵作为人脸对齐与姿态估计信息,用以进行人脸姿态估计。2.根据权利要求1所述基于多任务学习的轻量化人脸姿态估计方法,其特征在于,所述姿态估计任务网络包括依次级联的两个第一倒置残差模块和一个第一卷积模块,以及连接所述两个第一倒置残差模块和第一卷积模块的第一全连接层;所述两个第一倒置残差模块用于对待处理人脸图像的卷积特征图进行两次倒置残差处理,对所述卷积特征图进行两次下采样特征提取,得到待处理人脸图像的中间特征图,并输出至人脸对齐任务网络;所述第一卷积模块用于对所述中间特征图进行卷积特征提取,得到待处理人脸图像的中间卷积特征图;所述第一全连接层用于对两个第一倒置残差模块和第一卷积模块的各处理结果进行全连接多尺度融合处理,得到待处理人脸图像的姿态旋转矩阵。3.根据权利要求1所述基于多任务学习的轻量化人脸姿态估计方法,其特征在于,所述人脸对齐任务网络包括依次级联的一个第二倒置残差模块和两个第二卷积模块,以及连接所述第二倒置残差模块和两个第二卷积模块的第二全连接层;所述第二倒置残差模块用于对待处理人脸图像的中间特征图进一步进行倒置残差处理,对所述中间特征图...

【专利技术属性】
技术研发人员:葛广辉傅由甲
申请(专利权)人:重庆理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1