人脸图像处理方法、装置、电子设备、存储介质及程序制造方法及图纸

本申请实施方式公开了一种人脸图像处理方法、用于训练神经网络的方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的方法主要包括：将待处理人脸图像输入至神经网络中；经由所述神经网络提取所述待处理人脸图像的包括至少一个三维不动关键点在内的人脸关键点信息。

【技术实现步骤摘要】
人脸图像处理方法、装置、电子设备、存储介质及程序
本申请涉及计算机视觉技术，尤其是涉及一种人脸图像处理方法、人脸图像处理装置、用于训练神经网络的方法、用于训练神经网络的装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
人脸关键点是人脸识别等诸多应用中不可或缺的一部分。准确的确定出人脸关键点，尤其是准确的确定出带有大表情或者存在大角度偏转的面部的人脸关键点，不仅有利于对人脸的相关位置进行矫正，而且有利于增强人脸的语义信息。
技术实现思路
本申请实施方式提供一种人脸图像处理技术方案。根据本申请实施方式其中一个方面，提供了一种人脸图像处理方法，该方法包括：将待处理人脸图像输入至神经网络中；经由所述神经网络提取所述待处理人脸图像的包括至少一个三维不动关键点在内的人脸关键点信息。在本申请一实施方式中，所述神经网络提取出的人脸关键点信息包括：待处理人脸图像中的位于未被遮挡位置处和/或被遮挡位置处的人脸关键点信息。在本申请又一实施方式中，所述三维不动关键点包括：眼睑中心关键点、鼻子下沿中心关键点、嘴唇唇峰关键点、嘴唇中心关键点以及下巴中心关键点中的至少一个。在本申请再一实施方式中，所述眼睑中心关键点包括：左眼上眼睑中心关键点、左眼下眼睑中心关键点、右眼上眼睑中心关键点以及右眼下眼睑中心关键点中的至少一个。在本申请再一实施方式中，所述嘴唇中心关键点包括：上嘴唇上唇线中心关键点、上嘴唇下唇线中心关键点、下嘴唇上唇线中心关键点以及下嘴唇下唇线中心关键点中的至少一个。在本申请再一实施方式中，所述嘴唇唇峰关键点包括：嘴唇左唇峰关键点以及嘴唇右唇峰关键点中的至少一个。在本申请再一实施方式中，所述神经网络提取出的人脸关键点信息包括：68个、106个、240个、252个或270个人脸关键点信息。在本申请再一实施方式中，所述神经网络是利用标注有：包括至少一个三维不动关键点在内的人脸关键点标注信息的人脸图像样本，训练而成的。在本申请再一实施方式中，所述方法还包括：获取多个人脸图像样本，其中，所述人脸图像样本标注有：包括至少一个三维不动关键点在内的人脸关键点标注信息；利用所述多个人脸图像样本训练所述神经网络。在本申请再一实施方式中，所述人脸图像样本标注有在人脸图像样本中的位于未被遮挡位置处和/或被遮挡位置处的人脸关键点标注信息。在本申请再一实施方式中，所述人脸图像样本的人脸关键点标注信息包括：68个、106个、240个、252个或270个人脸关键点标注信息。在本申请再一实施方式中，在所述利用人脸图像样本训练所述神经网络之前，还包括采用下述步骤获取所述人脸关键点标注信息：确定人脸图像样本中的人脸至少一个部位的曲线控制点；根据所述曲线控制点形成曲线；确定所述曲线上作为人脸图像样本的三维不动关键点；在人脸图像样本的三维不动关键点的至少一侧，选取曲线上的点；根据所述选取的点以及所述人脸图像样本的三维不动关键点形成人脸关键点标注信息。在本申请再一实施方式中，所述确定所述曲线上作为人脸图像样本的三维不动关键点包括：确定所述曲线上的与人脸图像样本上标记的三维不动关键点的距离满足预定距离要求的点，将所述点作为人脸图像样本的三维不动关键点。在本申请再一实施方式中，所述利用所述多个人脸图像样本训练所述神经网络包括：将人脸图像样本输入所述神经网络，经由所述神经网络提取出所述人脸图像样本的人脸关键点信息；根据所述提取出的人脸关键点信息计算至少一个器官上的不同关键点之间的第一距离；根据所述人脸关键点标注信息计算至少一个器官上的不同关键点之间的第二距离；基于所述第一距离和第二距离经由第一损失函数对所述神经网络进行监督学习。在本申请再一实施方式中，所述根据所述提取出的人脸关键点信息计算至少一个器官上的不同关键点之间的第一距离包括：针对由提取出的左眼的上眼睑线关键点与相应的左眼的下眼睑线关键点形成的任一组关键点，分别计算组中的两个关键点之间的距离，以获得至少一个基于左眼眼睑线的第一距离；和/或，针对由提取出的右眼的上眼睑线关键点与相应的右眼的下眼睑线关键点形成的任一组关键点，分别计算组中的两个关键点之间的距离，以获得至少一个基于右眼眼睑线的第一距离；和/或，针对由提取出的上嘴唇上唇线关键点与相应的下嘴唇下唇线关键点形成的任一组关键点，分别计算组中的两个关键点之间的距离，以获得至少一个基于外唇线的第一距离；和/或，针对由提取出的上嘴唇下唇线关键点与相应的下嘴唇上唇线关键点形成的任一组关键点，分别计算组中的两个关键点之间的距离，以获得至少一个基于内唇线的第一距离。在本申请再一实施方式中，所述第一损失函数包括：针对基于左眼眼睑线的第一距离的第一损失函数、针对基于右眼眼睑线的第一距离的第一损失函数、针对基于外唇线的第一距离的第一损失函数和/或针对基于内唇线的第一距离的第一损失函数。在本申请再一实施方式中，所述利用所述多个人脸图像样本训练所述神经网络包括：针对由提取出的人脸关键点与标注的相应的人脸关键点形成的至少一组关键点，确定组中的两个关键点之间的距离，以获得至少一个漂移距离；基于所述漂移距离经由第二损失函数对所述神经网络进行监督学习。根据本申请实施方式其中另一个方面，提供了一种用于训练神经网络的方法，该方法包括：获取多个人脸图像样本，其中，所述人脸图像样本标注有：包括至少一个三维不动关键点在内的人脸关键点标注信息；利用所述多个人脸图像样本训练神经网络。在本申请一实施方式中，所述人脸图像样本标注有在人脸图像样本中的位于未被遮挡位置处和/或被遮挡位置处的人脸关键点标注信息。在本申请又一实施方式中，所述人脸图像样本的人脸关键点标注信息包括：68个、106个、240个、252个或270个人脸关键点标注信息。在本申请再一实施方式中，所述方法在所述利用所述多个人脸图像样本训练神经网络之前，还包括：确定人脸图像样本中的人脸至少一个部位的曲线控制点；根据所述曲线控制点形成曲线；确定所述曲线上作为人脸图像样本的三维不动关键点；在人脸图像样本的三维不动关键点的至少一侧，选取曲线上的点；根据所述选取的点以及所述人脸图像样本的三维不动关键点形成人脸关键点标注信息。在本申请再一实施方式中，所述确定所述曲线上作为人脸图像样本的三维不动关键点包括：确定所述曲线上的与人脸图像样本上标记的三维不动关键点的距离满足预定距离要求的点，将所述点作为人脸图像样本的三维不动关键点。在本申请再一实施方式中，所述利用所述多个人脸图像样本训练神经网络包括：将人脸图像样本输入神经网络，经由所述神经网络提取出所述人脸图像样本的人脸关键点信息；根据所述提取出的人脸关键点信息计算至少一个器官上的不同关键点之间的第一距离；根据所述人脸关键点标注信息计算至少一个器官上的不同关键点之间的第二距离；基于所述第一距离和第二距离经由第一损失函数对所述神经网络进行监督学习。在本申请再一实施方式中，所述根据所述提取出的人脸关键点信息计算至少一个器官上的不同关键点之间的第一距离包括：针对由提取出的左眼的上眼睑线关键点与相应的左眼的下眼睑线关键点形成的任一组关键点，分别计算组中的两个关键点之间的距离，以获得至少一个基于左眼眼睑线的第一距离；和/或，针对由提取出的右眼的上眼睑线关键点与相应的右眼的下眼睑线关键点形成的任一组关键点，本文档来自技高网...

【技术保护点】
1.一种人脸图像处理方法，其特征在于，包括：将待处理人脸图像输入至神经网络中；经由所述神经网络提取所述待处理人脸图像的包括至少一个三维不动关键点在内的人脸关键点信息。

【技术特征摘要】
1.一种人脸图像处理方法，其特征在于，包括：将待处理人脸图像输入至神经网络中；经由所述神经网络提取所述待处理人脸图像的包括至少一个三维不动关键点在内的人脸关键点信息。2.根据权利要求1所述的人脸图像处理方法，其特征在于，所述神经网络提取出的人脸关键点信息包括：待处理人脸图像中的位于未被遮挡位置处和/或被遮挡位置处的人脸关键点信息。3.根据权利要求1至2中任一项所述的人脸图像处理方法，其特征在于，所述三维不动关键点包括：眼睑中心关键点、鼻子下沿中心关键点、嘴唇唇峰关键点、嘴唇中心关键点以及下巴中心关键点中的至少一个。4.根据权利要求3所述的人脸图像处理方法，其特征在于，所述眼睑中心关键点包括：左眼上眼睑中心关键点、左眼下眼睑中心关键点、右眼上眼睑中心关键点以及右眼下眼睑中心关键点中的至少一个。5.一种用于训练神经网络的方法，其特征在于，所述方法包括：获取多个人脸图像样本，其中，所述人脸图像样本标注有：包括至少一个三维不动关键点在内的人脸关键点标注信息；利用所述多个人脸图像样本训练神经网络。6.一种人脸图像处理装置，其特征在于，包括：输入图像模块，用于将待处理人脸图像输入至神经网络...

【专利技术属性】
技术研发人员：吴文岩，王权，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11