人脸关键点检测方法、装置、电子设备及存储介质制造方法及图纸

本申请实施方式公开了人脸关键点检测方法、神经网络的训练方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的人脸关键点检测方法包括：获取待处理图像的图像特征；将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。

Face Key Point Detection Method, Device, Electronic Equipment and Storage Media

【技术实现步骤摘要】
人脸关键点检测方法、装置、电子设备及存储介质
本申请涉及计算机视觉技术，尤其是涉及一种人脸关键点检测方法、神经网络的训练方法、人脸关键点检测装置、神经网络的训练装置、用于人脸关键点检测的神经网络、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
人脸关键点检测是人脸识别、变脸处理、美颜处理、美妆处理、人脸的图像渲染、人脸状态检测、表情检测以及属性检测等诸多应用中不可或缺的一部分。准确的确定出人脸关键点，不仅有利于对人脸的相关位置进行矫正处理，而且有利于增强人脸的语义信息。
技术实现思路
本申请实施方式提供人脸关键点检测以及神经网络的训练的技术方案。根据本申请实施方式的其中一方面，提供了一种人脸关键点检测方法，该方法包括：获取待处理图像的图像特征；将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。在本申请一实施方式中，所述获取待处理图像的图像特征包括：将待处理图像提供给前级神经网络单元，经由所述前级神经网络单元获得所述待处理图像的图像特征。在本申请又一实施方式中，所述方法还包括：将所述图像特征提供给第二神经网络单元，经由所述第二神经网络单元提取所述待处理图像中的人脸关键点；其中，所述提取出的人脸关键点用于与所述像素点的被遮挡信息一起确定所述待处理图像中的人脸关键点是否被遮挡。在本申请再一实施方式中，所述像素点的被遮挡信息包括：像素点的被遮挡概率。在本申请再一实施方式中，所述根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡包括：在人脸关键点所在像素点的被遮挡概率达到预定概率阈值的情况下，确定该人脸关键点被遮挡；和/或在人脸关键点所在像素点的被遮挡概率未达到预定概率阈值的情况下，确定该人脸关键点未被遮挡。在本申请再一实施方式中，所述方法还包括：在根据被遮挡的人脸关键点确定出人脸中的相应部位处于被遮挡状态的情况下，针对所述部位不进行处理；其中，所述处理包括：变脸处理、美颜处理、美妆处理、人脸的图像渲染处理、人脸状态检测处理、表情检测处理以及器官精细定位处理中的至少一个。在本申请再一实施方式中，所述方法还包括：基于样本数据集训练所述第一神经网络单元；其中，所述样本数据集中的图像样本包括有表示人脸关键点是否被遮挡的标注信息表示人脸关键点是否被遮挡的标注信息表示人脸关键点是否被遮挡的标注信息。在本申请再一实施方式中，所述样本数据集还包括：图像样本的人脸关键点标注数据。在本申请再一实施方式中，所述图像样本包括：设置有遮挡物的图像样本。在本申请再一实施方式中，该方法还包括：在图像样本上设置遮挡物，并在样本数据集中设置被所述遮挡物遮挡的人脸关键点的表示人脸关键点是否被遮挡的标注信息表示人脸关键点是否被遮挡的标注信息。在本申请再一实施方式中，所述遮挡物包括：色块。在本申请再一实施方式中，所述方法还包括：对所述图像样本进行变换处理，形成新的图像样本；所述变换处理包括：平移、旋转、缩放以及镜像处理中的一个或多个。在本申请再一实施方式中，所述基于样本数据集训练所述第一神经网络单元包括：在保持已成功训练的前级神经网络单元以及第二神经网络单元的参数不发生变化的情况下，基于样本数据集训练所述第一神经网络单元。在本申请再一实施方式中，所述基于样本数据集训练所述第一神经网络单元包括：基于softmax损失函数，根据所述第一神经网络单元输出的图像样本的各像素点的被遮挡信息以及所述图像样本的人脸关键点的表示人脸关键点是否被遮挡的标注信息，对所述第一神经网络单元进行监督学习。根据本申请实施方式的其中另一个方面，提供了一种神经网络的训练方法，所述神经网络包括：第一神经网络单元，所述方法包括下述步骤：获取图像样本的图像特征，其中，所述图像样本的标注信息包括：表示人脸关键点是否被遮挡的标注信息；将所述图像特征提供给待训练的第一神经网络单元，基于所述待训练的第一神经网络单元，获得所述图像样本的像素点的被遮挡信息；基于所述像素点的被遮挡信息和所述图像样本的标注信息，对所述待训练的第一神经网络单元进行监督学习。在本申请一实施方式中，所述图像样本的标注信息还包括：图像样本的人脸关键点标注数据。在本申请又一实施方式中，所述图像样本包括：设置有遮挡物的图像样本。在本申请再一实施方式中，该方法还包括：在图像样本上设置遮挡物，并在样本数据集中设置被所述遮挡物遮挡的人脸关键点的表示人脸关键点是否被遮挡的标注信息。在本申请再一实施方式中，所述遮挡物包括：色块。在本申请再一实施方式中，所述方法还包括：对所述图像样本进行变换处理，形成新的图像样本；所述变换处理包括：平移、旋转、缩放以及镜像处理中的一个或多个。在本申请再一实施方式中，所述神经网络还包括：用于获得所述图像样本的图像特征的前级神经网络单元，以及用于根据将所述图像特征提取所述图像样本中的人脸关键点的第二神经网络，所述神经网络的训练方法包括：在保持已成功训练的前级神经网络单元以及第二神经网络单元的参数不发生变化的情况下，训练所述第一神经网络单元。根据本申请实施方式的其中再一个方面，提供了一种人脸关键点检测装置，该装置包括：获取图像特征模块，用于获取待处理图像的图像特征；获取被遮挡信息模块，用于将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；判断遮挡模块，用于根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。在本申请一实施方式中，所述装置还包括：获取关键点模块，用于将所述图像特征提供给第二神经网络单元，经由所述第二神经网络单元从所述待处理图像中提取人脸关键点；其中，所述提取出的人脸关键点用于与所述像素点的被遮挡信息一起确定所述待处理图像中的人脸关键点是否被遮挡。在本申请又一实施方式中，所述装置还包括：处理模块，用于在根据被遮挡的人脸关键点确定出人脸中的相应部位处于被遮挡状态的情况下，针对所述部位不进行处理；其中，所述处理包括：变脸处理、美颜处理、美妆处理、人脸的图像渲染处理、人脸状态检测处理、表情检测处理以及器官精细定位处理中的至少一个。在本申请再一实施方式中，所述装置还包括：神经网络的训练装置，用于：基于样本数据集训练所述第一神经网络单元；其中，所述样本数据集包括：表示人脸关键点是否被遮挡的标注信息。在本申请再一实施方式中，所述神经网络的训练装置包括：获取样本特征模块，获取图像样本的图像特征，其中，所述图像样本的标注信息包括：表示人脸关键点是否被遮挡的标注信息；获取样本遮挡信息模块，用于将所述图像特征提供给待训练的第一神经网络单元，基于所述待训练的第一神经网络单元，获得所述图像样本的像素点的被遮挡信息；监督模块，用于基于所述像素点的被遮挡信息和所述图像样本的标注信息，对所述待训练的第一神经网络单元进行监督学习。在本申请再一实施方式中，所述神经网络的训练装置还包括：设置遮挡物模块，用于在图像样本上设置遮挡物，并在样本数据集中设置被所述遮挡物遮挡的人脸关键点的表示人脸关键点是否被遮挡的标注信息。在本申请再一实施方式中，所述神经网络的训练装置还包括：变换处理模块，用于：对所述图像样本进行变换处理本文档来自技高网...

【技术保护点】
1.一种人脸关键点检测方法，其特征在于，所述方法包括：获取待处理图像的图像特征；将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。

【技术特征摘要】
1.一种人脸关键点检测方法，其特征在于，所述方法包括：获取待处理图像的图像特征；将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被遮挡信息；根据所述像素点的被遮挡信息确定所述待处理图像中的人脸关键点是否被遮挡。2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像的图像特征包括：将待处理图像提供给前级神经网络单元，经由所述前级神经网络单元获得所述待处理图像的图像特征。3.根据权利要求1至2中任一项所述的方法，其特征在于，所述方法还包括：将所述图像特征提供给第二神经网络单元，经由所述第二神经网络单元提取所述待处理图像中的人脸关键点；其中，所述提取出的人脸关键点用于与所述像素点的被遮挡信息一起确定所述待处理图像中的人脸关键点是否被遮挡。4.一种神经网络的训练方法，其特征在于，所述神经网络包括：第一神经网络单元，所述方法包括下述步骤：获取图像样本的图像特征，其中，所述图像样本的标注信息包括：表示人脸关键点是否被遮挡的标注信息；将所述图像特征提供给待训练的第一神经网络单元，基于所述待训练的第一神经网络单元，获得所述图像样本的像素点的被遮挡信息；基于所述像素点的被遮挡信息和所述图像样本的标注信息，对所述待训练的第一神经网络单元进行监督学习。5.一种人脸关键点检测装置，其特征在于，包括：获取图像特征模块，用于获取待处理图像的图像特征；获取被遮挡信息模块，用于将所述图像特征提供给第一神经网络单元，基于所述第一神经网络单元获得所述待处理图像的像素点的被...

【专利技术属性】
技术研发人员：钱晨，王权，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11