一种基于神经网络和形状约束的人脸关键点检测方法技术

本发明专利技术公开了一种基于神经网络和形状约束的人脸关键点检测方法，属于人脸识别和分析领域，用来解决人脸关键点检测的问题，主要应用于自动人脸识别、表情分析、三维人脸重建及三维动画等人脸相关问题。本发明专利技术主要包括如下步骤：首先，根据训练集标注的人脸关键点构建形状字典；接着，利用神经网络前向预测出关键点的热图；然后，根据热图构建初始形状特征和权重矩阵；最后，重建形状特征。本发明专利技术可以实现遮挡情况下的人脸关键点检测，计算速度快，计算复杂度低，检测精度高。

【技术实现步骤摘要】
一种基于神经网络和形状约束的人脸关键点检测方法
本专利技术属于人脸识别和分析领域，用于人脸关键点检测，具体为一种基于神经网络和形状约束的人脸关键点检测方法。
技术介绍
人脸关键点检测是人脸识别和分析领域中的关键一步，它是诸如自动人脸识别、表情分析、三维人脸重建及三维动画等其它人脸相关问题的前提和突破口。近些年来，深度学习方法由于其自动学习及持续学习能力，已被成功应用到了图像识别与分析、语音识别和自然语言处理等很多领域，且在这些方面都带来了很显著的改善。深度学习方法也在人脸关键点检测的研究上取得了极大的进展。传统的深度学习方法的模型大小与检测精度之间相关性极大，现有的高精度人脸关键点检测方法往往具有较大的模型尺寸，轻量级模型往往达不到检测精度要求，从而为实际应用带来了困难。
技术实现思路
本专利技术的目的是给出一种基于神经网络和形状约束的人脸关键点检测方法，训练人脸关键点检测模型，并且用于现实场景的人脸关键点检测，在轻量级的基础上实现较高的精度，且具有遮挡鲁棒性。本专利技术采取的技术方案是：首先，根据训本文档来自技高网...

【技术保护点】
1.一种基于神经网络和形状约束的人脸关键点检测方法，其特征在于，包括如下步骤：/n步骤(1).采集人脸图像，并标记人脸关键点坐标，构成训练数据集T＝{(I

【技术特征摘要】
1.一种基于神经网络和形状约束的人脸关键点检测方法，其特征在于，包括如下步骤：
步骤(1).采集人脸图像，并标记人脸关键点坐标，构成训练数据集T＝{(I1,P1),(I2,P2),...,(In,Pn)}，P＝{(x1,y1),(x2,y2),...,(xm,ym)}；其中，I为人脸图像，P为该人脸图像的关键点坐标集合，m为关键点数量，(xm,ym)为第m个关键点的坐标，n表示人脸图像的数量，In为第n张人脸图像；
步骤(2).数据预处理：
统一人脸图像尺寸为H*W，同时归一化对应的关键点坐标，归一化公式为：



其中，w为原图像的宽度，h为原图像的高度，x和y是预处理之前的关键点坐标，cx和cy是预处理之后的关键点坐标，W是统一尺寸后的图像的宽度，H是统一尺寸后的图像的高度；
步骤(3).利用步骤(2)得到的预处理后的关键点坐标构建形状字典DS，将每张人脸图像的关键点坐标合并为形状特征向量(x1,x2,...,xm,y1,y2,...,ym)，训练数据集中所有人脸图像对应的形状特征向量构成了形状字典DS∈R2m×n；
步骤(4).利用步骤(2)得到的预处理后的关键点坐标生成二维高斯热图，公式如下：



其中，cx和cy是预处理之后的关键点的横坐标和纵坐标，σ是高斯分布的标准差，Y是二维高斯热图上点(x',y')处的像素值，最终生成的二维高斯热图大小为H*W；
步骤(5).由步骤(2)和步骤(4)生成训练集TA＝{(G1,V1),(G2,V2),...,(Gn,Vn)}，V＝{R1，R2，...，Rm}；其中，G为预处理之后的人脸图像，V为每张人脸图像m个关键点对应的m张高斯热图的集合，R为每个人脸关键点对应的二维高斯热图；
步骤(6).构建卷积神经网络，使用训练集TA对卷积神经网络进行训练，得到训练好的卷积神经网络模型；
步骤(7).在预测阶段，将待检测的人脸图像经过步骤(2)进行预处理，输入至步骤(6)训练好的卷积神经网络模型，输出相应的高斯热图V＝{R1，R2，...，Rm}；
步骤(8).由步骤(7)所述的高斯热图得到对应的人脸关键点坐标与置信度，其中，高斯热图中像素值最大的点所在的位置即为人脸关...

【专利技术属性】
技术研发人员：丁勇，戴悦，刘郑学，陆晨燕，汤峻，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33