【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种三维人脸重建方法、装置、计算机设备和存储介质。
技术介绍
1、当前的三维人脸重建行业中，技术进步已经带来了许多创新和突破。随着测量技术的发展，以及计算机视觉和深度学习领域的日新月异，三维人脸重建已经从一个专门的科研领域转变成了广泛应用于各种实际场景的技术。在诸如面部识别、虚拟现实、游戏设计、电影制作、安全监控等领域，三维人脸重建都发挥着不可或缺的作用。但传统技术中的三维人脸重建存在着耗时较长或者人脸写实程度不高的问题。
技术实现思路
1、本申请的目的旨在至少能解决上述的技术缺陷之一，特别是现有技术中三维人脸重建存在着耗时较长或者人脸写实程度不高的缺陷。
2、第一方面，本申请提供了一种三维人脸重建方法，包括：
3、获取目标对象多视角的人脸图像集和其中各图像对应的位姿；
4、将位姿和人脸图像集输入人脸重建模型，得到非结构化模型；
5、将位姿、人脸图像集和初始的结构化模型输入纹理拟合模型，得到适用于结构化模型的纹理贴图；
6、对非结构化模型的正面投影图进行关键点检测，得到多个关键点；
7、确定各关键点在非结构化模型的第一三维坐标，并根据第一三维坐标和结构化坐标系下各关键点对应的第二三维坐标得到坐标变换矩阵，根据坐标变换矩阵对非结构化模型进行坐标变换；
8、将坐标变换后的非结构化模型和初始的结构化模型输入形变拟合模型，得到形变矩阵，利用形变矩阵对初始的结构化模型进行形变；p>
9、利用纹理贴图与形变后的结构化模型贴合，得到三维人脸模型。
10、在其中一个实施例中，纹理拟合模型得到纹理贴图的过程，包括：
11、对于人脸图像集中的任一图像，根据该图像的位姿对结构化模型进行投影，得到该图像对应的比较图像；
12、根据各图像与对应的比较图像之间的差异，更新结构化模型的权重参数，并返回对于人脸图像集中的任一图像，根据该图像的位姿对结构化模型进行投影，得到该图像对应的比较图像的步骤，直至差异小于第一阈值；
13、根据当前的结构化模型的权重参数，得到纹理贴图。
14、在其中一个实施例中，形变拟合模型得到形变矩阵的过程，包括：
15、利用当前的形变矩阵对初始的结构化模型进行形变；
16、对于结构化模型中的任意一个第一顶点，从坐标变换后的非结构化模型中找到距离最近的一个第二顶点，将该第一顶点与该第二顶点进行配对，得到一对拟合点对；
17、根据各拟合点对中第一顶点和第二顶点之间的差异，对当前的形变矩阵进行更新，并返回利用当前的形变矩阵对当前的结构化模型进行形变的步骤，直至差异小于第二阈值；
18、将当前的形变矩阵作为最终的形变矩阵。
19、在其中一个实施例中，在获取目标对象多视角的人脸图像集之后，还包括：
20、将人脸图像集中带有表情的图像过滤；
21、对人脸图像集中的图像进行遮挡纹理补全。
22、在其中一个实施例中，将人脸图像集中带有表情的图像过滤，包括：
23、将人脸图像集输入表情识别模型，得到人脸图像集中的各图像对应的表情系数集；
24、将对应的表情系数集中存在大于第三阈值的表情系数的图像过滤。
25、在其中一个实施例中，对人脸图像集中的图像进行遮挡纹理补全，包括：
26、将人脸图像集输入遮挡分割模型，从人脸图像集中找到存在遮挡的待补全图像并得到各待补全图像对应的遮挡区域掩码；
27、将待补全图像及其对应的遮挡区域掩码输入纹理补全模型，得到待补全图像对应的补全图像。
28、在其中一个实施例中，获取目标对象多视角的人脸图像集，包括：
29、通过rgb摄像头对目标对象的头部区域进行环绕式拍摄，得到人脸图像集。
30、第二方面，本申请提供了一种三维人脸重建装置，包括：
31、数据获取模块，用于获取目标对象多视角的人脸图像集和其中各图像对应的位姿；
32、重建模块，用于将位姿和人脸图像集输入人脸重建模型，得到非结构化模型；
33、贴图生成模块，用于将位姿、人脸图像集和初始的结构化模型输入纹理拟合模型，得到适用于结构化模型的纹理贴图；
34、关键点识别模块，用于对非结构化模型的正面投影图进行关键点检测，得到多个关键点；
35、坐标变换模块，用于确定各关键点在非结构化模型的第一三维坐标，并根据第一三维坐标和结构化坐标系下各关键点对应的第二三维坐标得到坐标变换矩阵，根据坐标变换矩阵对非结构化模型进行坐标变换；
36、形变模块，用于将坐标变换后的非结构化模型和初始的结构化模型输入形变拟合模型，得到形变矩阵，利用形变矩阵对初始的结构化模型进行形变；
37、贴合模块，用于利用纹理贴图与形变后的结构化模型贴合，得到三维人脸模型。
38、第三方面，本申请提供了一种计算机设备，包括一个或多个处理器，以及存储器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，执行上述任一实施例中的三维人脸重建方法的步骤。
39、第四方面，本申请提供了一种存储介质，存储介质中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例中的三维人脸重建方法的步骤。
40、从以上技术方案可以看出，本申请实施例具有以下优点：
41、基于本实施例中的三维人脸重建方法，首先进行多视角图像采集和精准的位姿追踪，获取完整输入信息。然后基于人脸重建模型进行非结构化人脸重建，充分复原面部细节。同时，通过纹理拟合模型生成细腻逼真的人脸纹理贴图。另外，以对齐后的非结构化模型作为形变参考，利用形变拟合模型所得到的形变矩阵对初始的结构化模型进行形变，得到与对齐后的非结构化模型逼近的结构化模型。最后，将纹理贴图贴合到结构化模型上，得到三维人脸模型。本方法协同多个深度学习模型，在完成数据采集后可实现全流程自动化的三维人脸重建，大大提高重建效率。在多视角人脸图像的支持下，各模型相互配合可实现超高的人脸重建质量和细节程度。实现了效率和写实度之间的最佳平衡。最终得到的模型为结构化模型，可发挥结构化模型的优势，降低产业应用门槛。
本文档来自技高网...【技术保护点】
1.一种三维人脸重建方法，其特征在于，包括：
2.根据权利要求1所述的三维人脸重建方法，其特征在于，所述纹理拟合模型得到所述纹理贴图的过程，包括：
3.根据权利要求1所述的三维人脸重建方法，其特征在于，所述形变拟合模型得到所述形变矩阵的过程，包括：
4.根据权利要求1所述的三维人脸重建方法，其特征在于，在获取所述目标对象多视角的所述人脸图像集之后，还包括：
5.根据权利要求4所述的三维人脸重建方法，其特征在于，所述将所述人脸图像集中带有表情的图像过滤，包括：
6.根据权利要求4所述的三维人脸重建方法，其特征在于，所述对所述人脸图像集中的图像进行遮挡纹理补全，包括：
7.根据权利要求1所述的三维人脸重建方法，其特征在于，所述获取目标对象多视角的人脸图像集，包括：
8.一种三维人脸重建装置，其特征在于，包括：
9.一种计算机设备，其特征在于，包括一个或多个处理器，以及存储器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，执行如权利要求1-7任一项所述的三
10.一种存储介质，其特征在于，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1-7任一项所述的三维人脸重建方法的步骤。
...【技术特征摘要】
1.一种三维人脸重建方法，其特征在于，包括：
2.根据权利要求1所述的三维人脸重建方法，其特征在于，所述纹理拟合模型得到所述纹理贴图的过程，包括：
3.根据权利要求1所述的三维人脸重建方法，其特征在于，所述形变拟合模型得到所述形变矩阵的过程，包括：
4.根据权利要求1所述的三维人脸重建方法，其特征在于，在获取所述目标对象多视角的所述人脸图像集之后，还包括：
5.根据权利要求4所述的三维人脸重建方法，其特征在于，所述将所述人脸图像集中带有表情的图像过滤，包括：
6.根据权利要求4所述的三维人脸重建方法，其特征在于，所述对所述人脸图像集中的图像进行...
【专利技术属性】
技术研发人员：张顺四，赵寒枫，岳双杰，庞国良，
申请(专利权)人：广州趣丸网络科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。