基于RGB图片的人脸三维重建方法及系统技术方案

本发明专利技术公开了一种基于RGB图片的人脸三维重建方法及系统，本发明专利技术方法包括如下步骤：步骤一：获取人脸RGB图像；步骤二：对人脸图像进行定位，并算出人脸的数个关键点，裁切图片；步骤三：引入巴塞尔参数化人脸模型；步骤四：将三维的人脸投影至二维平面；步骤五：进行投影归一化特征编码；步骤六：引入神经网络选择的损失函数；步骤七：图像通过反向传递更新网络参数，得到输出的人脸参数图像；步骤八：通过UV纹理图转换，根据巴塞尔人脸参数模型的纹理向量映射到二维空间；步骤九：将UV纹理图映射到三维人脸形状获得人脸的三维模型。通过本发明专利技术人脸三维重建技术处理的人脸UV图明显减少了细节缺失。节缺失。节缺失。

【技术实现步骤摘要】
基于RGB图片的人脸三维重建方法及系统


[0001]本专利技术属于计算机视觉
，具体涉及一种基于单张大姿态RGB图片重建带有UV图的三维人脸的方法及系统。

技术介绍

[0002]人脸三维重建是计算机视觉领域常见人脸的研究技术，其能够重建出高精度的三维人脸模型，不仅可以提升人们对人脸表达信息的认知与理解，同时也能促进人机交互的发展。所以，研究人脸三维重建对模式识别等领域的进步有着关键的推动作用。目前获取三维模型的方法主要包括三种：手工建模、仪器采集与基于图像的建模。基于图像的建模技术，顾名思义，是指通过若干幅二维图像，来恢复图像或场景的三维结构，近年来得到了广泛的研究。中国专利文献CN113658320A公开了一种三维重建方法，其包括：获取到包括目标对象的图像；基于图像获取到所述目标对象的特征参数；利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数；其中，神经网络是通过固化特征参数与三维重建参数的关联关系后得到的；基于三维重建参数对目标对象进行三维重建。该技术方案虽有其优点，但其存在的问题是，经其三维重建后的人脸UV图存在细节缺失。

技术实现思路

[0003]针对现有人脸三维重建技术方案存在人脸UV图具有明显的细节缺失的问题，本专利技术根据巴塞尔人脸三维重建的缺点，对于UV图进行了优化，在进行三维人脸反求时具有更加仿真的效果。
[0004]本专利技术构建了一种基于神经网络的人脸三维重建方法及系统，本专利技术可充分利用RGB图片的色彩空间信息，具有较高的精度，同时结合了巴塞尔统计学人脸模型，对于计算机的算力要求不高，具有较高的实时性，并对于回归的UV纹理图文件进行了优化。
[0005]本专利技术采取如下技术方案：
[0006]基于RGB图片的人脸三维重建方法，其包括如下步骤：
[0007]步骤一：获取人脸RGB图像；
[0008]步骤二：对人脸图像进行定位，并算出人脸的数个关键点，裁切图片；
[0009]步骤三：引入巴塞尔参数化人脸模型；
[0010]步骤四：将三维的人脸投影至二维平面；
[0011]步骤五：进行投影归一化特征编码；
[0012]步骤六：引入神经网络选择的损失函数；
[0013]步骤七：图像通过反向传递更新网络参数，得到输出的人脸参数图像；
[0014]步骤八：通过UV纹理图转换，根据巴塞尔人脸参数模型的纹理向量映射到二维空间；
[0015]步骤九：将UV纹理图映射到三维人脸形状获得人脸的三维模型。
[0016]优选的，步骤二具体如下：使用Dlib算法对人脸图像进行定位，并计算出人脸的68
个关键点，对图片进行裁切。
[0017]优选的，步骤三具体如下：引入巴塞尔参数化人脸模型如下：
[0018][0019]其中，表示巴塞尔人脸模型的平均脸，A
id
为人脸模型的PCA(principal components analysis的简称，中文名为主成分分析)主成分分析得到的特征向量，a
id
为人脸的形状系数，A
exp
表示巴塞尔人脸模型的表情基。形状系数表征了人脸的形状，该系数与特征向量A
id
a
id
共同构建出人脸的形状；而表情系数与对应的特征向量相乘A
exp
a
exp
共同表征了人脸的表情，比如人脸的微笑、悲伤等。
[0020]优选的，步骤四具体如下：利用弱透视投影关系将三维的人脸投影至二维平面：
[0021]V
2d
＝f
×
P
r
×
R
×
S+t
2d
ꢀꢀ
(2)
[0022]其中，V
2d
表示投影方程，f为人脸的尺度变换关系，P
r
为投影矩阵，R表示旋转矩阵，S表示巴塞尔人脸模型，t
2d
表示为平移矩阵。基于以上方程可得到三维的巴塞尔人脸在二维平面的投影表示为：
[0023]T＝[f,R,a
id
,a
exp
,t
2d
]T
ꢀꢀ
(3)
[0024]其中，T是三维人脸形状的基本参数。f为人脸的尺度变换关系，R表示旋转矩阵，t
2d
表示为平移矩阵，a
id
为人脸的形状系数，a
exp
为人脸的表情系数。
[0025]优选的，步骤五具体如下：进行投影归一化特征编码，首先将参数化人脸的x,y,z信息归一化到(0，1)范围内
[0026][0027]其中，d代表三维人脸的x,y,z参数信息，NCC
d
为归一化后的顶点像素值，通过Z
‑
buffer(Z
‑
buffer是图像学中的专有技术术语，中文名为Z
‑
深度缓冲)渲染获得施加身份、表情、姿态参数的三维投影渲染图，包含参数
[0028][pitch,yall,roll,f,t
2d
,a
id
,a
ex
o]。网络的输入为带有巴塞尔参数化人脸模型参数的PNCC特征编码图片，图片中主要包含信息为[pitch,yall,roll,f,t
2d
,a
id
,a
ex
o]，其中，f为人脸的尺度变换关系，[pitch,yall,roll]表示旋转矩阵，t
2d
表示为平移矩阵，a
id
为人脸的形状系数，a
exp
为人脸的表情系数；
[0029]优选的，步骤六具体如下：引入神经网络选择的损失函数，选用加权迭代距离迭代损失函数：
[0030]E
WPDC
＝(Δp
‑
(p
g
‑
p0))
T
W(Δp
‑
(p
g
‑
p0))
ꢀꢀ
(5)
[0031]其中对加权参数矩阵的求解如下：
[0032]W＝diag(w1,w2,w3,......w
p
)
ꢀꢀ
(6)
[0033][0034]p
d
(i)＝(p
g1
，....p
gi
‑1，(p0+Δp),p
gi+1
,....p
gp
)
ꢀꢀ
(8)
[0035]p
d
(i)＝(p
g1
，....p
gi
‑1，(p0+Δp),p
gi+1
,....p
gp
)为第二个分支网络输入的是预处理后的RGB彩色人脸图片；
[0036]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于RGB图片的人脸三维重建方法，其特征是包括如下步骤：步骤一：获取人脸RGB图像；步骤二：对人脸图像进行定位，并算出人脸的数个关键点，裁切图片；步骤三：引入巴塞尔参数化人脸模型；步骤四：将三维的人脸投影至二维平面；步骤五：进行投影归一化特征编码；步骤六：引入神经网络选择的损失函数；步骤七：图像通过反向传递更新网络参数，得到输出的人脸参数图像；步骤八：通过UV纹理图转换，根据巴塞尔人脸参数模型的纹理向量映射到二维空间；步骤九：将UV纹理图映射到三维人脸形状获得人脸的三维模型。2.如权利要求1所述基于RGB图片的人脸三维重建方法，其特征是，步骤二具体如下：使用Dlib算法对人脸图像进行定位，并计算出人脸的68个关键点，对图片进行裁切。3.如权利要求1或2所述基于RGB图片的人脸三维重建方法，其特征是，步骤三具体如下：引入巴塞尔参数化人脸模型如下：其中，表示巴塞尔人脸模型的平均脸，A
id
为人脸模型的PCA主成分分析得到的特征向量，a
id
为人脸的形状系数，A
exp
表示巴塞尔人脸模型的表情基；形状系数表征了人脸的形状，该系数与特征向量A
id
a
id
共同构建出人脸的形状；而表情系数与对应的特征向量相乘A
exp
a
exp
共同表征了人脸的表情。4.如权利要求3所述基于RGB图片的人脸三维重建方法，其特征是，步骤四具体如下：利用弱透视投影关系将三维人脸投影至二维平面：V
2d
＝f
×
P
r
×
R
×
S+t
2d
ꢀꢀ
(2)其中，V
2d
表示投影方程，f为人脸的尺度变换关系，P
r
为投影矩阵，R表示旋转矩阵，S表示巴塞尔人脸模型，t
2d
表示为平移矩阵；基于式(2)得到三维的巴塞尔人脸在二维平面的投影表示为：T＝[f,R,a
id
,a
exp
,t
2d
]
T
ꢀꢀ
(3)其中，T是三维人脸形状的基本参数；f为人脸的尺度变换关系，R表示旋转矩阵，t
2d
表示为平移矩阵，a
id
为人脸的形状系数，a
exp
为人脸的表情系数。5.如权利要求4所述基于RGB图片的人脸三维重建方法，其特征是，步骤五具体如下：进行投影归一化特征编码，首先将参数化人脸的x,y,z信息归一化到(0，1)范围内其中，d代表三维人脸的x,y,z参数信息，NCC
d
为归一化后的顶点像素值，通过Z
‑
buffer渲染获得施加身份、表情、姿态参数的三维投影渲染图，包含参数[pitch,yall,roll,f,t
2d
,a
id
,a
exo
]，其中，f为人脸的尺度变换关系，[pitch,yall,roll]表示旋转矩阵，t
2d
表示为平移矩阵，a
id
为人脸的形状系数，a
exp
为人脸的表情系数。6.如权利...

【专利技术属性】
技术研发人员：权利要求书三页说明书六页附图二页，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：