适用于人脸美学分析的三维几何特征处理方法及相关设备技术

本发明专利技术公开了一种适用于人脸美学分析的三维几何特征处理方法及相关设备，所述方法包括：获取二维人脸图片，对所述二维人脸图片进行关键点检测，得到关键点，将所述二维人脸图片和所述关键点输入重建网络中，输出3D人脸模型；基于所述3D人脸模型3D关键点；根据所述3D关键点计算3D几何特征；对所述3D几何特征进行筛选，得到适用于人脸美学分析的3D几何特征。本发明专利技术仅用二维人脸图片就能重建3D人脸模型，提取关键3D几何特征并用于人脸美学分析，无需3D扫描设备即可得到3D人脸模型，大大减少了采集成本，对3D几何特征进行多次筛选，保留了对面部美感有重要影响的3D几何特征，提高了美学分析时对二维人脸图片提取3D几何特征的能力。分析时对二维人脸图片提取3D几何特征的能力。分析时对二维人脸图片提取3D几何特征的能力。

【技术实现步骤摘要】
适用于人脸美学分析的三维几何特征处理方法及相关设备


[0001]本专利技术涉及人脸美学分析
，尤其涉及一种适用于人脸美学分析的三维几何特征处理方法、系统、终端及计算机可读存储介质。

技术介绍

[0002]随着技术的发展，对人脸图像的美学分析技术也越来越发达，目前对人脸图像的美学分析主要为基于机器学习的二维人脸美学研究，这种方法侧重于对二维人脸图像分析面部几何特征、纹理特征及肤色特征等，且此类方法是先进行人工提取特征，再训练各类学习模型以实现美学相关任务。然而，基于纹理和肤色特征的方法并不理想，因为这些特征会随着面部化妆、环境光改变、表情变化和人体衰老而变化，以至于同一个体所提取的特征出现较大的差异，从而影响美学评价的准确程度，这不利于美学研究的开展。并且在现有技术中，对三维人脸进行美学分析大多基于专业设备扫描获取的高精度三维人脸模型进行，然而使用专业设备对人脸进行三维扫描成像十分费时费力，也不够便捷，且通过专业扫描设备获取三维人脸模型的成本高昂，现有基于三维人脸模型的美学分析缺乏一种成本低且高效的获取三维人脸模型的方法。
[0003]几何特征是一种更稳定的特征(通常表示如器官之间的距离、器官的夹角、人脸的形状等信息)，它对环境、妆造、年龄变化具有更强的鲁棒性。但现有方法在眼部、鼻部、下颌等具有明显深度信息的面部区域提取几何特征能力差，使得从这些区域提取的几何特征难以应用于后续的分析任务。
[0004]因此，现有技术还有待于改进和发展。

技术实现思路

[0005]本专利技术的主要目的在于提供一种适用于人脸美学分析的三维几何特征处理方法、系统、终端及计算机可读存储介质，旨在解决现有美学分析技术中利用专业设备获取三维人脸模型的采集成本较高且费时费力，以及直接使用二维图像对具有明显深度信息的面部区域提取几何特征能力差的问题。
[0006]为实现上述目的，本专利技术提供一种适用于人脸美学分析的三维几何特征处理方法，所述适用于人脸美学分析的三维几何特征处理方法包括如下步骤：
[0007]获取二维人脸图片，对所述二维人脸图片进行关键点检测，得到关键点，根据所述二维人脸图片和所述关键点输入已训练好的重建网络中，进行人脸三维重建得到3D人脸模型；
[0008]基于所述3D人脸模型，根据所述关键点提取3D关键点；
[0009]根据所述3D关键点计算3D几何特征，其中，所述3D几何特征包括面部距离特征和面部角度特征；
[0010]对所述3D几何特征进行筛选，得到适用于人脸美学分析的3D几何特征。
[0011]可选地，所述的适用于人脸美学分析的三维几何特征处理方法，其中，所述获取二
维人脸图片，对所述二维人脸图片进行关键点检测，得到关键点，具体包括：
[0012]将所述二维人脸图片输入到关键点检测网络，所述关键点检测网络输出所述二维人脸图片的关键点和所述关键点对应的索引，在所述关键点中选取预对齐关键点；
[0013]其中，所述预对齐关键点为双眼外侧眼角、鼻尖和左右嘴角对应的关键点。
[0014]可选地，所述的适用于人脸美学分析的三维几何特征处理方法，其中，所述已训练好的重建网络的训练过程具体包括：
[0015]获取训练样本图片，对所述训练样本图片进行关键点检测，获得训练关键点，在所述训练关键点中选取预对齐训练关键点；
[0016]根据所述训练样本图片和所述训练关键点对数据库中的平均人脸形状的参数进行调整，获得初始人脸模型；
[0017]通过所述预对齐训练关键点确定人脸位姿参数，根据所述人脸位姿参数将所述初始人脸模型投影回所述训练样本图片上；
[0018]根据所述训练关键点在所述初始人脸模型上提取3D训练关键点；
[0019]计算所述训练关键点和所述3D训练关键点在所述训练样本图片平面的投影之间坐标的欧氏距离的加权平均值，得到人脸的关键点位置损失；
[0020]计算所述训练样本图片和所述初始人脸模型的面部像素值的平均欧式距离，得到人脸的像素级损失；
[0021]根据所述关键点位置损失和像素级损失对所述初始人脸模型的参数进行调整，输出所述已训练好的重建网络；
[0022]所述人脸位姿参数包括旋转参数和位置参数，所述初始人脸模型的参数包括面部形状参数、面部纹理参数和面部光照参数；
[0023]所述关键点位置损失的具体公式为：
[0024][0025]其中，N为关键点的个数，ω
n
为关键点损失权重，q
n
为训练样本图片中的训练关键点的坐标，q
′
n
(x)为初始人脸模型的3D训练关键点投影回训练样本图片平面后的坐标。
[0026]可选地，所述的适用于人脸美学分析的三维几何特征处理方法，其中，所述基于所述3D人脸模型，根据所述关键点提取3D关键点，具体包括：
[0027]根据所述索引在所述3D人脸模型上提取对应的3D关键点，记录所述3D关键点对应的坐标。
[0028]可选地，所述的适用于人脸美学分析的三维几何特征处理方法，其中，所述根据所述3D关键点计算3D几何特征，其中，所述3D几何特征包括面部距离特征和面部角度特征，具体包括：
[0029]根据所述坐标，对所有所述3D关键点进行连线，构成若干个特征向量，根据所述3D关键点和所述特征向量计算面部距离特征和面部角度特征；
[0030]其中，所述面部距离特征包括两个3D关键点之间的距离、3D关键点和特征向量之间的距离、以及两个特征向量之间的距离，所述面部角度特征包括任意两个特征向量之间的空间向量夹角。
[0031]可选地，所述的适用于人脸美学分析的三维几何特征处理方法，其中，所述根据所述3D关键点和所述特征向量计算面部距离特征和面部角度特征，具体包括：
[0032]根据所述坐标，采用欧氏距离计算任意两个所述3D关键点之间的距离，采用欧式距离计算任意所述3D关键点和所述特征向量之间的距离，采用欧式距离计算任意两个所述特征向量之间的距离；
[0033]根据所述特征向量，采用空间向量夹角公式计算任意两个所述特征向量之间的空间向量夹角。
[0034]可选地，所述的适用于人脸美学分析的三维几何特征处理方法，其中，所述对所述3D几何特征进行筛选，得到适用于人脸美学分析的3D几何特征，具体包括：
[0035]对所述3D几何特征进行第一次筛选，计算所有所述3D几何特征和美学评分的相关系数，保留所述相关系数大于预设阈值的3D几何特征；
[0036]所述计算所有所述3D几何特征和美学评分的相关系数的具体公式为：
[0037][0038]其中，表示几何特征和美学评分的相关系数，f
i
表示第i个特征向量，S表示美学评分向量，cov(f
i
，S)表示第i个特征向量f
i
和美学评分向量S的协方差，为特征向量f
i
的方差，σ
S
为美学评分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于人脸美学分析的三维几何特征处理方法，其特征在于，所述适用于人脸美学分析的三维几何特征处理方法包括：获取二维人脸图片，对所述二维人脸图片进行关键点检测，得到关键点，根据所述二维人脸图片和所述关键点输入已训练好的重建网络中，进行人脸三维重建得到3D人脸模型；基于所述3D人脸模型，根据所述关键点提取3D关键点；根据所述3D关键点计算3D几何特征，其中，所述3D几何特征包括面部距离特征和面部角度特征；对所述3D几何特征进行筛选，得到适用于人脸美学分析的3D几何特征。2.根据权利要求1所述的适用于人脸美学分析的三维几何特征处理方法，其特征在于，所述获取二维人脸图片，对所述二维人脸图片进行关键点检测，得到关键点，具体包括：将所述二维人脸图片输入到关键点检测网络，所述关键点检测网络输出所述二维人脸图片的关键点和所述关键点对应的索引，在所述关键点中选取预对齐关键点；其中，所述预对齐关键点为双眼外侧眼角、鼻尖和左右嘴角对应的关键点。3.根据权利要求1所述的适用于人脸美学分析的三维几何特征处理方法，其特征在于，所述已训练好的重建网络的训练过程具体包括：获取训练样本图片，对所述训练样本图片进行关键点检测，获得训练关键点，在所述训练关键点中选取预对齐训练关键点；根据所述训练样本图片和所述训练关键点对数据库中的平均人脸形状的参数进行调整，获得初始人脸模型；通过所述预对齐训练关键点确定人脸位姿参数，根据所述人脸位姿参数将所述初始人脸模型投影回所述训练样本图片上；根据所述训练关键点在所述初始人脸模型上提取3D训练关键点；计算所述训练关键点和所述3D训练关键点在所述训练样本图片平面的投影之间坐标的欧氏距离的加权平均值，得到人脸的关键点位置损失；计算所述训练样本图片和所述初始人脸模型的面部像素值的平均欧式距离，得到人脸的像素级损失；根据所述关键点位置损失和像素级损失对所述初始人脸模型的参数进行调整，输出所述已训练好的重建网络；所述人脸位姿参数包括旋转参数和位置参数，所述初始人脸模型的参数包括面部形状参数、面部纹理参数和面部光照参数；所述关键点位置损失的具体公式为：其中，N为关键点的个数，ω
n
为关键点损失权重，q
n
为训练样本图片中的训练关键点的坐标，q
′
n
(x)为初始人脸模型的3D训练关键点投影回训练样本图片平面后的坐标。4.根据权利要求2所述的适用于人脸美学分析的三维几何特征处理方法，其特征在于，所述基于所述3D人脸模型，根据所述关键点提取3D关键点，具体包括：根据所述索引在所述3D人脸模型上提取对应的3D关键点，记录所述3D关键点对应的坐
标。5.根据权利要求4所述的适用于人脸美学分析的三维几何特征处理方法，其特征在于，所述根据所述3D关键点计算3D几何特征，其中，所述3D几何特征包括面部距离特征和面部角度特征，具体包括：根据所述坐标，对所有所述3D关键点进行连线，构成若干个特征向量，根据所述3D关键点和所述特征向量计算面部距离特征和面部角度特征；其中，所述面部距离特征包括两个3D关键点之间的距离、3D关键点和特征向量之间的距离、以及两个特征向量之间的距离，所述面部角度特征包括任意两个特征向量之间的空间向量夹角。6.根据权利要求5所述的适用于人脸美学分析的三维几何特征处理方法，其特征在于，所述根据所述3D关键点和所述特征向量计算面部距离特征和面部角度特征，具体包括：根据所述坐标，采用欧氏距离计算任意两个所述3D关键点之间的距离，采用欧式距离计算任意所述3D关键点和所述特征向量之间的距离，采用欧式距离计算任意两个所述特征向量之间的距离；根据所述特征向量，采用空间向量夹角公式计算任意两个所述特征向量之间的空间向量夹角。7.根据权利要求1所述的适用于人脸美学分析的三维几何特征处理方法，其特征在于，所述对所述3D几何特征进行筛选，得到适用于人脸美学分析的3D几何特征，具体包括：对所述3D几何特征进行第一次筛选，计算所有所述3D几何特征和美学评分的相关系数，保留所述相关系数大于预...

【专利技术属性】
技术研发人员：谢缘，孙雅涵，彭天昊，张大鹏，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：