一种遮挡环境下的人脸五官定位的方法技术

本发明专利技术公开了一种在遮挡环境下的人脸五官定位算法，属于图像处理领域。其整体步骤为：S1：构建数据集并将数据集划分为训练集和测试集两部分；S2：对数据集进行归一化处理并对其进行数据集扩充；S3：构建人脸五官点遮挡检测模型；S4：训练人脸五官定位粗略定位模型并预测人脸五官点的粗略位置；S5：融合粗略定位模型和遮挡检测模型的结果创建精细定位模型的目标位置；S6：训练人脸五官定位精细定位模型并预测精细定位阶段位置。本发明专利技术提出一种人脸五官定位算法，解决当前在遮挡环境下人脸五官定位算法不准的问题，可应用于遮挡较为严重情况下的人脸五官定位场景下。

A Method of Locating Five Facial Features in Occluded Environment

【技术实现步骤摘要】
一种遮挡环境下的人脸五官定位的方法
本专利技术涉及图像处理
，具体涉及一种遮挡环境下的人脸五官定位算法。
技术介绍
人脸五官定位或者人脸对齐(例如眼睛，鼻子，嘴巴和下巴)对于诸如面部识别，面部跟踪，面部动画和3维面部建模之类的任务是必不可少的。随着当今个人和网络照片的爆炸式增长，需要一种全自动，高效且稳健的面部对齐方法。对于不受约束的环境中的当前方法，这些要求仍然具有挑战性，由于面部外观，光照以及部分遮挡会导致很多五官点位置很难被定准。人脸五官定位的目标是为了准确的定位一些五官点。精准的人脸五官定位对于很多视觉任务来说都是很关键的一步：比如人脸验证，人脸表情分析，动作分析。这些任务都需要五官定位作为其预处理的步骤。从整体的角度来看，人脸五官定位可以被表述为在面部图像上搜索预定义的面部点(也称为面部形状)的问题，其通常从粗略的初始形状开始，并且逐步估计精准的形状直到收敛。在搜索过程中，通常使用两种不同的信息源：面部外观和形状信息。后者旨在明确地模拟面部点的位置之间的空间关系，以确保估计的面部点可以形成有效的面部形状。有些方法没有明确使用形状信息，但通常将这两种信息来源结合起来。虽然很多方法都已经在公开数据集取得了比较好的成绩，但是对于一些恶劣的环境，例如遮挡比较严重的情况下，比如佩戴深色墨镜，或者人脸被其他障碍物遮挡的情形下，这些方法的表现欠佳，主要是因为局部最小值问题。因而必须对每个五官点位置的遮挡情况进行判别，而后利用这部分补充信息进行无关关键点定位。目前学术界较为流行的方法是构建逐步回归模型。局部二值化特征模型利用随机森林来提取图片五官点附近的二值化特征，而后利用支撑向量回归模型来完成每个阶段的回归任务；条件回归树模型利用随机森林来提取人脸五官点周围的块信息放入支撑向量回归模型中得到预测值；一些人认为人脸的辅助属性会帮助模型预测五官点位置，而且提出了动态早停策略(earlystopping)来解决辅助属性学习的过拟合问题，从而提高模型的精确度；上述方法都没有显式的给出遮挡情况下的解决方案，因而对于大面积遮挡情况下的人脸五官定位表现欠佳。
技术实现思路
本专利技术目的在于针对目前在自然环境下由于局部遮挡导致五官关键点定位不准确问题，提供一种引入遮挡检测模块的人脸五官定位算法，主要包括以下步骤：步骤一、数据预处理：读取训练集中人脸图像和对应图像的五官点的人脸精确位置，将人脸图像转换为灰度图像，并对人脸图像进行白化处理，得到归一化后的人脸图像，即减均值除以标准差，如公式一所示。其中Ii表示的是输入人脸图像的第i张图像，μ和σ分表表示的是训练集的均值和标准差，IRi表示的是经过归一化处理之后的第i张图像。步骤二、数据集扩充：对公开数据集中的训练集进行数据集扩充。经过反转，平移，旋转操作，将训练集中的人脸图像扩充为原先的20倍，数据集扩充步骤中会包括对人脸的放大和缩小，因为考虑到实际情况下人脸在图片中所占的比例不同而导致的结果的差异。步骤三、求取平均形状：利用步骤二中的获取到的扩充后的训练集的五官点位置求解平均值，作为五官点初始定位的初始形状S0，并将S0转换为S0,i，即训练集中每张人脸图像的坐标系中。步骤四、构建遮挡检测模型：创建基于移动网络模型(MobileNet)的遮挡检测多任务回归模型，以步骤二中构建的训练集作为输入，输出遮挡状态向量，向量的每一维是人脸图像中某一个五官点位置处被遮挡的状态，如公式二所示。其中j＝0,1,...,J-1，J表示的是人脸五官关键点的个数。步骤五、构建粗略定位模型：基于卷积神经网络模型(ConvolutionalNeuralNetworks)构建人脸五官定位回归模型，针对第i张人脸图像，模型预测的目标为真实位置信息Sgt,i与S0,i之间的差异ΔSr,i，如公式三所示。ΔSr,i＝Sgt,i-S0,i公式三步骤六、生成精确定位模型目标位置：综合步骤四得到的人脸五官点遮挡状态向量和步骤五中得到的人脸五官点粗略位置，得到修正的精细定位阶段目标位置，如公式四所示。其中weight表示的是遮挡点位置处放缩的幅度，表示的是预测的遮挡状态，ΔSr,i,j表示的是精确定位与粗略定位之间的差异，Sp,i,j表示的是精细定位阶段的目标位置。步骤七、构建精细定位模型：基于卷积神经网络模型(ConvolutionalNeuralNetworks)构建精细定位阶段回归模型，训练中的目标位置是步骤六中求解出的目标位置，在构建模型过程中考虑到人脸的倾斜幅度对定位结果的影响，因而模型额外学习了人脸矫正的矩阵系数。输入的人脸图像是经过矫正过后的图像，这样能够进一步减小模型的拟合难度，经过模型拟合后经过反矫正操作得到精细定位阶段的输出结果。步骤八、对步骤七得到的精细定位预测结果反放缩得到本专利技术的最终结果，公式如公式五所示。其中表示的是预测的精细定位结果，eps表示的是一个很小的正数，为了防止除0现象，而So,i,j表示的是算法的最终预测结果。本专利技术的有益效果是采用分阶段的深度学习模型，在遮挡情况下对人脸图像上的五官点的具体位置进行预测。为了弥补传统人脸五官定位模型对于遮挡处的五官点位置预测不准的缺点，算法通过遮挡检测预测每个五官点是否被遮挡，为五官关键点位置预测补充了额外的信息，进一步提高模型精确度。附图说明图1是本专利技术提供的一种遮挡环境下的人脸五官定位的方法的流程图图2是算法输入灰度人脸图像图3是训练集人脸图像中的均值图片(a)和标准差图片(b)图4是粗略定位结果图图5是添加遮挡信息的粗略定位结果图图6是算法最终效果图具体实施方式下面是结合附图和实施例对本专利技术作进一步的说明。本实施例的目的是把一幅人脸图像的每个五官关键点的位置在遮挡情况下预测出来，具体包括以下步骤，大体流程如图1所示：步骤一、数据预处理：读取训练集中人脸图像和对应图像的五官点的人脸精确位置，将人脸图像转换为灰度图像，如图2所示，并对人脸图像进行白化处理，得到归一化后的人脸图像，得到归一化后的人脸图像，即减均值除以标准差，图像的均值图像和标准差图像如图3所示。步骤二、数据集扩充：对公开数据集中的训练集进行数据集扩充。步骤三、求取平均形状：利用步骤二中的获取到的扩充后的训练集的五官点位置求解平均值，作为五官点初始定位的初始形状S0，并将S0转换为S0,i，即训练集中每张人脸图像的坐标系中。步骤四、构建遮挡检测模型：创建基于移动网络模型(MobileNet)的遮挡检测多任务回归模型，以步骤二中构建的训练集作为输入，输出遮挡状态向量，向量的每一维是人脸图像中某一个五官点位置处被遮挡的状态，如公式一所示。其中j＝0,1,...,J-1，J表示的是人脸五官关键点的个数。步骤五、构建粗略定位模型：基于卷积神经网络模型(ConvolutionalNeuralNetworks)构建人脸五官定位回归模型，针对第i张人脸图像，模型预测的目标为真实位置信息Sgt,i与S0,i之间的差异ΔSr,i，如公式二所示，粗略定位模型预测的人脸五官位置结果如图4所示，附加步骤四中的遮挡状态信息，如图5所示，图中圆点为预测的非遮挡点，而叉点预测的是遮挡点。ΔSr,i＝Sgt,i-S0,i公式二步骤六、生成精确定位模型目标位置：综合步骤四得到的人脸五官点遮挡状态向量本文档来自技高网...

【技术保护点】
1.一种遮挡环境下的人脸五官定位的方法，其特征在于所述方法的整体步骤为：步骤一、数据预处理：读取训练集中人脸图像和对应图像的五官点的人脸精确位置，将人脸图像转换为灰度图像，并对人脸图像进行白化处理，得到归一化后的人脸图像；步骤二、数据集扩充：对公开数据集中的训练集进行数据集扩充；步骤三、求取平均形状：利用步骤二中的获取到的扩充后的训练集的五官点位置求解平均值，作为五官点初始定位的初始形状S0，并将S0转换为S0,i，即训练集中每张人脸图像的坐标系中；步骤四、构建遮挡检测模型：创建基于移动网络模型(MobileNet)的遮挡检测多任务回归模型，以步骤二中构建的训练集作为输入，输出遮挡状态向量，向量的每一维是人脸图像中某一个五官点位置处被遮挡的状态，如公式一所示；

【技术特征摘要】
1.一种遮挡环境下的人脸五官定位的方法，其特征在于所述方法的整体步骤为：步骤一、数据预处理：读取训练集中人脸图像和对应图像的五官点的人脸精确位置，将人脸图像转换为灰度图像，并对人脸图像进行白化处理，得到归一化后的人脸图像；步骤二、数据集扩充：对公开数据集中的训练集进行数据集扩充；步骤三、求取平均形状：利用步骤二中的获取到的扩充后的训练集的五官点位置求解平均值，作为五官点初始定位的初始形状S0，并将S0转换为S0,i，即训练集中每张人脸图像的坐标系中；步骤四、构建遮挡检测模型：创建基于移动网络模型(MobileNet)的遮挡检测多任务回归模型，以步骤二中构建的训练集作为输入，输出遮挡状态向量，向量的每一维是人脸图像中某一个五官点位置处被遮挡的状态，如公式一所示；其中j＝0,1,...,J-1，J表示的是人脸五官关键点的个数；步骤五、构建粗略定位模型：基于卷积神经网络模型(ConvolutionalNeuralNetworks)构建人脸五官定位回归模型，针对第i张人脸图像，模型预测的目标为真实位置信息Sgt,i与S0,i之间的差异ΔSr,i，如公式二所示；ΔSr,i＝Sgt,i-S0,i公式二步骤六、生成精确定位模型目标位置：综合步骤四得到的人脸五官点遮挡状态向量和步骤五中得到的人脸五官点粗略位置，得到修正的精细定位阶段目标位置，如公式三...

【专利技术属性】
技术研发人员：舒畅，李阳，周宁，傅志中，李晓峰，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川,51