一种人脸检测和对齐的方法及装置制造方法及图纸

本发明专利技术公开了一种人脸检测和对齐的方法及装置，方法包括：获取第一人脸数据集和第二人脸数据集；使用第一人脸数据集、第二人脸数据集和预设神经网络模型进行网络训练，得到目标人脸检测和对齐模型；其中，在网络训练的前N epoch，将第一人脸数据集中第一人脸图像作为预设神经网络模型的输入，以训练得到初始人脸检测和对齐模型；在得到初始人脸检测和对齐模型后，在进行epoch训练时，交替将第一人脸数据集和第二人脸数据集作为预设神经网络模型的输入，以训练得到目标人脸检测和对齐模型。通过该技术方案，可以充分利用不具有关键点位置标注的图片，提高特定场景下人脸检测和关键点定位的效果。

【技术实现步骤摘要】
一种人脸检测和对齐的方法及装置
本专利技术涉及人脸识别
，更具体地，涉及一种人脸检测和对齐的方法及装置。
技术介绍
人脸对齐是指将人脸图像对齐至人脸模型，主要应用于脸型分析、人脸变换、人脸识别和颜值分析等。人脸图像的对齐，影响到人脸识别的准确性，成为人脸识别系统的重要问题。目前人脸对齐模型的训练都需要人脸图像带有关键点位置的标注信息，没有关键点标注信息的人脸图片数据无法得到充分利用，以获取的带有口罩的人脸数据为例，该数据没有人脸关键点信息，存在人脸框标注，采用现有技术主要存在以下两个问题：(1)将口罩人脸数据加入检测和关键点定位的框架(如RetinaFace)训练，缺少关键点标注，无法训练。(2)如果口罩人脸数据不通过训练阶段，直接使用训练好的模型进行检测，戴口罩检测效果不好。
技术实现思路
鉴于上述问题，本专利技术提出了一种人脸检测和对齐的方法和相应的装置，其可以充分利用不具有关键点位置标注的图片，提高特定场景下人脸检测和关键点定位的效果。根据本专利技术实施例的第一方面，提供一种人脸检本文档来自技高网...

【技术保护点】
1.一种人脸检测和对齐的方法，其特征在于，包括：/n获取第一人脸数据集和第二人脸数据集，其中，所述第一人脸数据集中包括多个标注有分类信息、人脸框坐标和全部关键点坐标的第一人脸图像，所述第二人脸数据集中包括多个未标注关键点坐标或未标注出全部关键点坐标的第二人脸图像；/n使用所述第一人脸数据集、所述第二人脸数据集和预设神经网络模型进行网络训练，得到目标人脸检测和对齐模型；/n其中，在网络训练的前N epoch，将所述第一人脸数据集中第一人脸图像作为所述预设神经网络模型的输入，以训练得到初始人脸检测和对齐模型；/n在得到所述初始人脸检测和对齐模型后，在进行epoch训练时，交替将所述第一人脸数据集和...

【技术特征摘要】
1.一种人脸检测和对齐的方法，其特征在于，包括：
获取第一人脸数据集和第二人脸数据集，其中，所述第一人脸数据集中包括多个标注有分类信息、人脸框坐标和全部关键点坐标的第一人脸图像，所述第二人脸数据集中包括多个未标注关键点坐标或未标注出全部关键点坐标的第二人脸图像；
使用所述第一人脸数据集、所述第二人脸数据集和预设神经网络模型进行网络训练，得到目标人脸检测和对齐模型；
其中，在网络训练的前Nepoch，将所述第一人脸数据集中第一人脸图像作为所述预设神经网络模型的输入，以训练得到初始人脸检测和对齐模型；
在得到所述初始人脸检测和对齐模型后，在进行epoch训练时，交替将所述第一人脸数据集和所述第二人脸数据集作为所述预设神经网络模型的输入，以训练得到所述目标人脸检测和对齐模型。


2.根据权利要求1所述的人脸检测和对齐的方法，其特征在于，所述方法还包括：
获取输入的待处理人脸图像；
将所述待处理人脸图像作为所述目标人脸检测和对齐模型的输入，以输出人脸图像对齐结果。


3.根据权利要求1所述的人脸检测和对齐的方法，其特征在于，在将所述第一人脸数据集作为所述预设神经网络模型的输入时，
根据所述预设神经网络模型输出的第一人脸图像的关键点坐标、人脸框坐标和人脸框分类信息以及所述第一人脸图像中标注的关键点坐标、人脸框坐标和分类信息，计算关键点坐标的损失函数、人脸框坐标的损失函数和分类交叉熵的损失函数；
计算各个损失函数的梯度值，利用随机梯度下降算法更新所述预设神经网络模型的模型参数，直至收敛。


4.根据权利要求1所述的人脸检测和对齐的方法，其特征在于，
在将所述第二人脸数据集作为所述预设神经网络模型的输入，且输入的第二人脸图像未标注关键点坐标时，根据所述预设神经网络模型输出的第二人脸图像的关键点坐标、人脸框坐标和人脸框分类信息以及所述第二人脸图像中标注的人脸框坐标和分类信息，计算人脸框坐标的损失函数和分类交叉熵的损失函数；
在将所述第二人脸数据集作为所述预设神经网络模型的输入，且输入的第二人脸图像未标注出全部关键点坐标时，根据所述预设神经网络模型输出的第二人脸图像的关键点坐标、人脸框坐标和人脸框分类信息以及所述第二人脸图像中标注的人脸框坐标、关键点坐标和分类信息，计算人脸框坐标的损失函数、标注出的关键点坐标的损失函数和分类交叉熵的损失函数；
计算各个损失函数的梯度值，利用随机梯度下降算法更新所述预设神经网络模型的模型参数，直至收敛。


5.根据权利要求3或4所述的人脸检测和对齐的方法，其特征在于，关键点坐标的损失函数wing(x)计算公式如下：



其中，w＝10，∈＝2，x表示预设神经网络模型输出的关键点坐标和标注的关键点坐标的差值；
人脸框坐标的损失函数计算公式如下：



其中，x表示预设神经网络模型输出的人脸框坐标和标注的人脸框坐标的差值；
分类交叉熵的损失函数计算公式如下：



其中，yi表示标注的分类信息，yi-表示预设神经网络模型输出的分类信息。


6.一种人脸检测和对齐的装置，其特征在于，包括：
第一获取模块，用于获取第一人脸...

【专利技术属性】
技术研发人员：张晋，
申请(专利权)人：云知声智能科技股份有限公司，厦门云知芯智能科技有限公司，
类型：发明
国别省市：北京;11