人脸检测模型的训练方法、人脸关键点的检测方法和装置制造方法及图纸

本发明专利技术实施例公开了一种人脸检测模型的训练方法、人脸关键点的检测方法、装置、设备和存储介质，所述训练方法包括：获取训练人脸图像；基于预设的三维人脸模型对所述训练人脸图像进行三维重建，得到训练三维人脸模型；根据所述训练三维人脸模型，生成包含所述训练三维人脸模型的三维坐标的训练UV坐标图；采用所述训练人脸图像和所述训练UV坐标图对语义分割网络进行训练，获得人脸检测模型，本发明专利技术实施例无需对训练人脸图像和训练UV坐标图进行人工标注，解决了现有技术中训练数据需要人工预估标注导致训练数据不准确，造成CNN输出人脸关键点坐标不准确的问题，提高了人脸检测模型的性能，同时也提高了人脸关键点检测的准确性。

【技术实现步骤摘要】
人脸检测模型的训练方法、人脸关键点的检测方法和装置
本专利技术实施例涉及数据处理
，尤其涉及一种人脸检测模型的训练方法、一种人脸关键点的检测方法、一种人脸检测模型的训练装置、一种人脸关键点的检测装置、设备和存储介质。
技术介绍
随着互联网技术的发展，出现了各种视频应用程序，通过视频应用程序人们可以更直观地进行交流。在视频直播或者录制短视频的过程中，用户通常需求对视频进行一些特效处理，例如对视频中的人脸添加美颜、贴纸等特效，上述特效的添加依赖于人脸上的眼睛、嘴巴、鼻子等关键点，因此，检测人脸关键点的准确度对特效的处理尤其重要。在现有检测人脸关键点的方法中，一种方式是直接回归，通过把人脸图像输入CNN(卷积神经网络，ConvolutionalNeuralNetwork)中，回归出各个关键点的坐标，另一种方式是层级法，通过多次预测关键点的坐标来提升精度，通过以前一次预测关键点的坐标为中心，裁剪出多个局部图片，再把多个局部图片输入CNN中，回归出关键点的最终坐标。然而在训练CNN时，在训练样本中，当人脸图像中人脸角度较大时，人脸的某些部位受到遮挡，需要对受遮挡部分进行人工预估标注，导致得到训练数据不准确，从而造成CNN输出人脸关键点坐标不准确的问题。
技术实现思路
本专利技术实施例提供一种人脸检测模型的训练方法、一种人脸关键点的检测方法、一种人脸检测模型的训练装置、一种人脸关键点的检测装置、设备和存储介质，以解决现有人脸关键点的检测方法存在人脸关键点检测不准确的问题，以提高人脸关键点检测的准确性。第一方面，本专利技术实施例提供了一种人脸检测模型的训练方法，包括：获取训练人脸图像；基于预设的三维人脸模型对所述训练人脸图像进行三维重建，得到训练三维人脸模型；根据所述训练三维人脸模型，生成包含所述训练三维人脸模型的三维坐标的训练UV坐标图；采用所述训练人脸图像和所述训练UV坐标图对语义分割网络进行训练，获得人脸检测模型，其中，所述人脸检测模型用于生成包含三维坐标的UV坐标图。第二方面，本专利技术实施例提供了一种人脸关键点的检测方法，包括：获取目标人脸图像；将所述目标人脸图像输入预先训练的人脸检测模型中，以生成所述目标人脸图像的UV坐标图，所述UV坐标图中的每个像素点包含三维坐标；获取UV模板图，所述UV模板图包含预先标注的人脸关键点；在所述UV坐标图中确定所述人脸关键点对应的像素点，以检测所述人脸关键点的三维坐标。第三方面，本专利技术实施例提供了一种人脸检测模型的训练装置，包括：训练人脸图像获取模块，用于获取训练人脸图像；三维重建模块，用于基于预设的三维人脸模型对所述训练人脸图像进行三维重建，得到训练三维人脸模型；训练UV坐标图生成模块，用于根据所述训练三维人脸模型，生成包含所述训练三维人脸模型的三维坐标的训练UV坐标图；训练模块，用于采用所述训练人脸图像和所述训练UV坐标图对语义分割网络进行训练，获得人脸检测模型，其中，所述人脸检测模型用于生成包含三维坐标的UV坐标图。第四方面，本专利技术实施例提供了一种人脸关键点的检测装置，包括：目标人脸图像获取模块，用于获取目标人脸图像；UV坐标图生成模块，用于将所述目标人脸图像输入预先训练的人脸检测模型中，以生成所述目标人脸图像的UV坐标图，所述UV坐标图中的每个像素点包含三维坐标；模板图获取模块，用于获取UV模板图，所述UV模板图包含预先标注的人脸关键点；人脸关键点三维坐标检测模块，用于在所述UV坐标图中确定所述人脸关键点对应的像素点，以检测所述人脸关键点的三维坐标。第五方面，本专利技术实施例提供了一种设备，所述设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本专利技术任一实施例所述的人脸检测模型的训练方法和/或人脸关键点的检测方法。第六方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本专利技术任一实施例所述的人脸检测模型的训练方法和/或人脸关键点的检测方法。本专利技术实施例在获取训练人脸图像后，基于预设的三维人脸模型对训练人脸图像进行三维重建，得到训练三维人脸模型，并根据训练三维人脸模型生成包含训练三维人脸模型的三维坐标的训练UV坐标图；采用训练人脸图像和训练UV坐标图对语义分割网络进行训练，获得人脸检测模型。本专利技术通过对训练人脸图像进行三维重建以生成训练三维人脸模型，进一步生成训练UV坐标图，从而获得训练数据对语义分割网络进行训练获得到人脸检测模型，无需对训练人脸图像和训练UV坐标图进行人工标注，解决了现有技术中训练数据需要人工预估标注导致训练数据不准确，造成CNN输出人脸关键点坐标不准确的问题，提高了人脸检测模型的性能，同时也提高了人脸关键点检测的准确性。进一步地，人脸检测模型可以生成包含三维坐标的UV坐标图，可以检测关键点的三维坐标，使得检测到的人脸关键点具有深度信息，丰富了关键点的应用场景。附图说明图1是本专利技术实施例一提供的一种人脸检测模型的训练方法的流程图；图2A是本专利技术实施例二提供的一种人脸检测模型的训练方法的流程图；图2B是本专利技术实施例二中三维人脸模型对齐的示意图；图2C是本专利技术实施例二中通过三维重建生成训练三维人脸模型的示意图；图3A是本专利技术实施例三提供的一种人脸关键点的检测方法的流程图；图3B是本专利技术实施例三中人脸检测模型输出的UV坐标图的示意图；图3C是本专利技术实施例三中UV模板图的示意图；图4是本专利技术实施例四提供的一种人脸检测模型的训练装置的结构框图；图5是本专利技术实施例五提供的一种人脸关键点的检测装置的结构框图；图6是本专利技术实施例六提供的一种设备的结构框图。具体实施方式下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。实施例一图1为本专利技术实施例一提供的一种人脸检测模型的训练方法的流程图，本专利技术实施例可适用于训练人脸检测模型生成包含三维坐标的UV坐标图的情况，该方法可以由人脸检测模型的训练装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，具体地，如图1所示，该方法可以包括如下步骤：S101、获取训练人脸图像。具体地，训练人脸图像可以是包含人脸的二维图像，该二维图像的存储格式可以是BMP、JPG、PNG、TIF等格式。其中，BMP(Bitmap)是Windows操作系统中的标准图像文件格式，BMP采用位映射存储格式，BMP文件的图像深度可选lbit、4bit、8bit及24bit；JPG即JPEG(JointPhotographicExpertsGroup)，JPEG图片以24位颜色存储单个位图，JPEG是与平台无关的格式；PNG(PortableNetworkGraphicFormat，可移植网络图形格式)是一种位图文件存储格式，PNG用来存储灰度图像时，灰度图像的深度可多到16位，存储彩色图像时，彩色图像的深度可多到48位，并且还可存储多到16位的α通道数据；TIF(TagImageFileFormat，标签图像文件格式)是一种灵活的位图格式，主要用来存储包本文档来自技高网...

【技术保护点】
1.一种人脸检测模型的训练方法，其特征在于，包括：获取训练人脸图像；基于预设的三维人脸模型对所述训练人脸图像进行三维重建，得到训练三维人脸模型；根据所述训练三维人脸模型，生成包含所述训练三维人脸模型的三维坐标的训练UV坐标图；采用所述训练人脸图像和所述训练UV坐标图对语义分割网络进行训练，获得人脸检测模型，其中，所述人脸检测模型用于生成包含三维坐标的UV坐标图。

【技术特征摘要】
1.一种人脸检测模型的训练方法，其特征在于，包括：获取训练人脸图像；基于预设的三维人脸模型对所述训练人脸图像进行三维重建，得到训练三维人脸模型；根据所述训练三维人脸模型，生成包含所述训练三维人脸模型的三维坐标的训练UV坐标图；采用所述训练人脸图像和所述训练UV坐标图对语义分割网络进行训练，获得人脸检测模型，其中，所述人脸检测模型用于生成包含三维坐标的UV坐标图。2.如权利要求1所述的方法，其特征在于，所述基于预设的三维人脸模型对所述训练人脸图像进行三维重建，得到训练三维人脸模型，包括：选取M个三维人脸模型；对所述M个三维人脸模型进行主成分分析，得到主成分分量矩阵和特征值矩阵；针对每个训练人脸图像，采用所述主成分分量矩阵和所述特征值矩阵进行三维重建，得到训练三维人脸模型。3.如权利要求2所述的方法，其特征在于，在对所述M个三维人脸模型进行主成分分析，得到主成分分量矩阵和特征值矩阵之前，包括：对选取的三维人脸模型进行预处理；采用光流法对预处理后的三维人脸模型进行对齐，得到对齐后的三维人脸模型；其中，所述预处理包括如下至少一种：平滑处理、补洞处理和坐标矫正。4.如权利要求2或3所述的方法，其特征在于，所述针对每个训练人脸图像，采用所述主成分分量矩阵和所述特征值矩阵进行三维重建，得到训练三维人脸模型，包括：设置初始特征值矩阵和初始投影参数矩阵；采用所述初始特征值矩阵和所述主成分分量矩阵构建初始三维人脸模型；基于所述初始投影参数矩阵，获取所述初始三维人脸模型在二维空间的投影人脸图像；计算所述投影人脸图像与所述训练人脸图像之间的差异值；根据所述差异值，采用随机梯度下降法分别对所述初始特征值矩阵和所述初始投影参数矩阵进行迭代优化，获得所述差异值收敛时的特征值矩阵和投影参数矩阵，作为目标特征值矩阵和目标投影参数矩阵；采用所述目标特征值矩阵和所述主成分分量矩阵生成训练三维人脸模型。5.如权利要求4所述的方法，其特征在于，所述根据所述差异值，采用随机梯度下降法分别对所述初始特征值矩阵和所述初始投影参数矩阵进行迭代优化，获得所述差异值收敛时的特征值矩阵和投影参数矩阵，作为目标特征值矩阵和目标投影参数矩阵，包括：针对前N轮迭代优化，在所述训练人脸图像和所述投影人脸图像中随机选取K个特征点；根据所述K个特征点计算所述投影人脸图像与训练人脸图像之间的差异值；根据所述差异值，采用随机梯度下降法对所述初始特征值矩阵中的部分特征值和所述初始投影参数矩阵进行迭代优化；在N轮迭代优化后，采用随机梯度下降法对所有特征值和所述初始投影参数矩阵进行优化，获得所述差异值收敛时的特征值矩阵和投影参数矩阵，作为目标特征值矩阵和目标投影参数矩阵。6.如权利要求1-3任一项所述的方法，其特征在于，所述根据所述训练三维人脸模型，生成包含所述训练三维人脸模型的三维坐标的训练UV坐标图，包括：获取所述训练三维人脸模型的顶点，所述顶点具有三维坐标；将所述顶点投影至预设球面上，得到顶点在所述球面上的投影点；对包含所述投影点的球面进行展开处理，以生成包...

【专利技术属性】
技术研发人员：陈德健，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44