一种基于深度多特征融合级联回归的人脸关键点定位方法技术

技术编号:20161044 阅读:33 留言:0更新日期:2019-01-19 00:13
本发明专利技术属于人脸识别技术领域,具体涉及一种基于深度多特征融合级联回归的人脸关键点定位方法,首先将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位,其次根据定位结果将其对应的人脸图像进行校正,同时计算初步定位结果的热力图,然后将校正后的图像和计算出的热力图再次输入到深度网络中进行人脸关键点修正,最后根据实际预测精度决定是否再次进行人脸关键点修正。本方法在复杂性及可操作性没有明显增加的情况下,相比单个深度网络进一步降低关键点定位误差。

【技术实现步骤摘要】
一种基于深度多特征融合级联回归的人脸关键点定位方法
本专利技术属于人脸识别
,具体涉及一种基于深度多特征融合级联回归的人脸关键点定位方法。
技术介绍
计算机视觉技术是一种研究如何使用计算机及其相关设备,对生物视觉进行模拟的技术。通过摄像机等成像设备采集的图片或视频进行处理,获得相应场景的三维信息,由计算机代替大脑完成处理和理解。该技术涉及多个学科,包括图像处理、模式识别、图像分析和图像理解等。目前,广泛应用于各个领域,如医疗图像处理、视频监控、电子卡口、虚拟现实、智能交通等。随着计算机视觉技术的发展,人脸识别技术已经广泛应用于很多电子系统,如门禁系统、卡口系统、电子护照、公安、银行自助系统、信息安全等。但是在实际的人脸识别过程中,由于人脸角度、姿态各异,因此需要先对检测到的人脸进行对齐,其实也就是人脸关键点定位。人脸关键点定位的目的是针对一张给定的人脸图像,通过一定的方法计算出其五官(眉毛、嘴、眼睛、鼻子和脸颊)的N个关键点坐标(x,y),如图1显示了N(68)个人脸关键点的相对位置。人脸关键点定位的准确与否直接影响接下来的人脸识别、比对等任务。因此,目前已经有一些专利专门用于人脸关键点定位,例如:现有技术1:深圳大学于仕琪(CN104899563A),该专利的核心步骤为:首先,通过预设的人脸关键点定位方法将得到的二维人脸关键点坐标输入到事先建立好的关键点维度转换模型中;其次,将二维人脸关键点坐标转换为三维坐标,并将得到的三维坐标投影到二维人脸图像上得到估计坐标。最后,通过估计坐标与二维位置坐标计算人脸关键点定位误差,如果误差小于给定的阈值T,则将该估计坐标作为人脸关键点。另外,现有技术2:旷视科技(CN103824049A)采用了一种基于级联神经网络的人脸关键点定位方法。该专利的核心是将人脸分为:内脸(包括:眉毛、嘴、眼睛、鼻子)和外脸(脸轮廓)。然后将内脸和外脸分别通过一个深度神经网络进行人脸关键点定位,最后再将内、外脸网络预测得到的人脸关键点进行合并。值得一提的是,在进行内脸关键点定位时,该技术又提取了内脸中的眉毛、嘴、眼睛和鼻子区域,并对其进行了角度矫正。由于实际环境存在一定的复杂性,虽然上述现有技术1和现有技术2在一定程度上缓解了人脸关键点定位的效率和准确率问题,但仍存在一些不足之处。现有技术1人脸关键点定位的精度严重依赖所用的“预设人脸关键点定位方法”和“关键点维度转换模型”,况且对于复杂场景,这两种技术的鲁棒性严重下降;另外,虽然现有技术1将人脸分为多个子区域进行人脸关键点定位,但是由于其需要对每个子区域进行校正,因此复杂性也明显提高。除此之外,由于人脸每个区域存在一定的几何位置关系,该方案将人脸拆分单独进行关键点定位的方式不能很好的利用人脸不同区域的位置关系。
技术实现思路
本专利技术的目的是提出一种基于深度多特征融合级联回归的人脸关键点定位方法,旨在解决现有技术中复杂性及可操作性没有明显增加的情况下,相比单个深度网络关键点定位误差较大的问题。本专利技术通过以下技术方案实现:一种基于深度多特征融合级联回归的人脸关键点定位方法,包括步骤:(1)将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位;(2)根据初步定位结果对其对应的人脸图像进行校正,同时计算初步定位结果的热力图;(3)将校正后的图像和计算出的热力图再次输入到深度网络中进行人脸关键点修正;(4)根据实际预测精度决定是否再次进行人脸关键点修正。进一步,所述的步骤(1)中的初步定位包括步骤:Step1:准备训练网络所用的数据集;Step2:构建深度网络模型,并利用预训练好的网络模型进行权重初始化;Step3:人脸关键点初步定位,网络初始化完成后利用Step1中准备好的数据进行深度网络训练,一直到网络收敛为止。优选的,在所述的Step1中采用的数据集为人脸关键点定位领域常用的数据集300W比赛数据集。进一步,在所述的Step1中,训练数据格式为(Xi,Yi),其中Xi表示图像,Yi表示Xi对应的关键点集合,i=1,2,…,M,M为训练图像数量。进一步,在所述的Step3中,运用的监督函数是正则化后的欧氏损失,如下式所示:其中,Yij分别表示第i张图像的第j个预测及真实人脸关键点,di表示第i张图像中两眼的瞳孔距离,N表示关键点个数。进一步,所述的步骤(2)中包括步骤:Step4:人脸图像校正;所述的Step4中,首先,通过Step3得到人脸关键点的初步位置然后,通过相似性变换计算与标准脸YS之间的相似性变换矩阵Ti,进而可以得到校正后的人脸图像Ti(Xi)。优选的,标准脸YS取所有训练数据集的平均值。进一步,所述的步骤(2)中包括步骤:Step5:人脸关键点热力图计算;所述的Step5中,首先计算所对应的校正后的人脸关键点然后通过下式计算所对应的热力图:其中,Ti:第i级的关键点校正矩阵,Yi:第i级检测出的关键点,对i级检测出的关键点进行校正后得到的关键点,P:对第i级检测出的关键点进行校正后得到的关键点,Pxy:图像的所有坐标点,α:热力图数值调整系数,β:热力图数值调整系数,λ:热力图数值调整系数,r:阈值,其值为图像的宽度。进一步,所述的步骤(3)中包括:Step6:将Step4和Step5得到的校正后图像及关键点热力图合并后,再次返回执行Step2和Step3进行人脸关键点修正。进一步,所述的步骤(4)中包括:Setp7:如果训练误差Error小于给定的阈值Threshod,则训练结束;否则继续重复Step6直到训练误差小于给定阈值为止。与现有技术相比,本专利技术至少具有下述的有益效果或优点:本专利技术提供的这种基于深度多特征融合级联回归的人脸关键点定位方法,在复杂性及可操作性没有明显增加的情况下,相比单个深度网络进一步降低关键点定位误差。通过将多级网络进行级联,该方案理论上可以无限逼近人脸关键点的真实位置;但是,在实际中鉴于运行效率及资源占用问题,一般级联两个或三个网络即可达到比较理想的定位效果。通过引入热力图,可以使得网络在训练的时候更加专注的学习人脸关键点周围的人脸特征,从而也相应的提高了关键点的定位精度。附图说明以下将结合附图对本专利技术做进一步详细说明;图1是现有技术中68个人脸关键点相对位置示意图;图2-a是本专利技术的人脸关键点原始的位置图;图2-b是本专利技术的人脸关键点校正后的位置图;图2-c是本专利技术的人脸关键点校正后对应的热力图;图3是本专利技术的整体流程图;图4是本专利技术所用的深度网络结构图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。对于基于深度学习的人脸关键点定位方法来说,首先需要一种鲁邦的人脸表示方式。传统的手工特征提取方法只能提取人脸的某些浅层特征,不能充分反映人脸的本质。然而,深度网络可以通过一个多级的分层结构提取出目标对象的一些语义信息,这些信息能够较好的描述目标对象的本质特征。本专利技术首先将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位,其次根据定位结果将本文档来自技高网
...

【技术保护点】
1.一种基于深度多特征融合级联回归的人脸关键点定位方法,其特征在于,包括步骤:(1)将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位;(2)根据初步定位结果对其对应的人脸图像进行校正,同时计算初步定位结果的热力图;(3)将校正后的图像和计算出的热力图再次输入到深度网络中进行人脸关键点修正;(4)根据实际预测精度决定是否再次进行人脸关键点修正。

【技术特征摘要】
1.一种基于深度多特征融合级联回归的人脸关键点定位方法,其特征在于,包括步骤:(1)将深度网络的多层特征进行融合通过回归的方式来进行人脸关键点的初步定位;(2)根据初步定位结果对其对应的人脸图像进行校正,同时计算初步定位结果的热力图;(3)将校正后的图像和计算出的热力图再次输入到深度网络中进行人脸关键点修正;(4)根据实际预测精度决定是否再次进行人脸关键点修正。2.根据权利要求1所述的基于深度多特征融合级联回归的人脸关键点定位方法,其特征在于,所述的步骤(1)中的初步定位包括步骤:Step1:准备训练网络所用的数据集;Step2:构建深度网络模型,并利用预训练好的网络模型进行权重初始化;Step3:人脸关键点初步定位,网络初始化完成后利用Step1中准备好的数据进行深度网络训练,一直到网络收敛为止。3.根据权利要求2所述的基于深度多特征融合级联回归的人脸关键点定位方法,其特征在于,在所述的Step1中采用的数据集为人脸关键点定位领域的数据集300W比赛数据集。4.根据权利要求2所述的基于深度多特征融合级联回归的人脸关键点定位方法,其特征在于,在所述的Step1中,训练数据格式为(Xi,Yi),其中Xi表示图像,Yi表示Xi对应的关键点集合,i=1,2,…,M,M为训练图像数量。5.根据权利要求4所述的基于深度多特征融合级联回归的人脸关键点定位方法,其特征在于,在所述的Step3中,运用的监督函数是正则化后的欧氏损失,如下式所示:其中,Yij分别表示第i张图像的第j个预测及真实人脸关键点,di表示第i张图像中两眼的瞳孔距离,N表示关键点个数。6.根据权利要求2所述的基于...

【专利技术属性】
技术研发人员:毛亮朱婷婷林焕凯黄仝宇汪刚宋一兵侯玉清刘双广
申请(专利权)人:高新兴科技集团股份有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1