【技术实现步骤摘要】
本专利技术属于计算机视觉和计算机图形学领域，尤其涉及一种基于可导渲染的多视角视频人脸牙齿重建方法。
技术介绍
1、高质量三维人脸数据在工业界中的游戏、动画制作有着重要的地位。目前的高质量三维人脸数据的一大获取来源是多视角人脸重建。这种人脸重建有以下两类实现方法：1)传统的基于mvs(多视角立体,multi-view-stereo)+人脸模版网格注册方法。这类方法先从多视角图片/视频提取人脸信息并重建出对应的人脸非固定拓扑网格，然后使用预设的人脸模版网格对非固定拓扑网格进行注册，得到与非固定拓扑网格相对应的人脸同拓扑网格。2)输入多视角图片/视频直接重建出三维人脸的方法。这类方法可以直接输出人脸同拓扑网格，或者先输出一个隐式人脸表达，然后通过marching cube等能从隐式表达提取出网格的方法将隐式表达转变为人脸网格。
2、这两类方法目前都能从多视角图片/视频中重建出高质量的三维人脸，体现在人脸皮肤部分几何和材质的准确重建。但其大部分都忽视了人脸的另一重要组成部分：口腔。这些方法大多数都很难重建，或者干脆不重建人脸的口腔部分。在数字人中，口腔部分，特别是牙齿的准确重建，对数字人的真实性提升有着很大的帮助。
技术实现思路
1、本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。
2、为此，本专利技术的第一个目的在于提出一种基于可导渲染的多视角视频人脸牙齿重建方法，以在重建人脸的同时重建人的牙齿。
3、本专利技术的第二个目的在于提出一种基于
4、本专利技术的第三个目的在于提出一种电子设备。
5、本专利技术的第四个目的在于提出一种计算机可读存储介质。
6、为达上述目的，本专利技术第一方面实施例提出了一种基于可导渲染的多视角视频人脸牙齿重建方法，包括：
7、获取人脸的多视角视频；
8、基于所述多视角视频，通过多次迭代获得人脸表面变量最优值和牙齿变量最优值，其中任一次迭代过程包括：针对所述多视角视频的每一帧，利用人脸表面变量和牙齿变量对人脸表面和牙齿分别建模，以得到待优化人脸网格；基于所述多视角视频和所述待优化人脸网格构造目标函数，求解所述目标函数以获得人脸表面变量优化值和牙齿变量优化值，若人脸表面变量和牙齿变量收敛，则停止迭代输出人脸表面变量最优值和牙齿变量最优值；
9、利用所述人脸表面变量最优值和牙齿变量最优值重建出带有牙齿的人脸网格序列。
10、在本专利技术的第一方面的方法中，所述针对所述多视角视频的每一帧，利用人脸表面变量和牙齿变量对人脸表面和牙齿分别建模，以得到待优化人脸网格，包括：任选一帧，基于人脸表面变量利用3d形变模型和移位贴图，对人脸表面进行建模，从而获得该帧的人脸表面网格；基于牙齿变量利用sdf的牙齿形变模型对牙齿进行建模，从而获得该帧的牙齿网格；对该帧设置待优化的刚性变换，基于所述待优化的刚性变换，将所述牙齿网格组装到对应帧的人脸表面网格中，从而得到该帧的待优化人脸网格。
11、在本专利技术的第一方面的方法中，基于所述多视角视频和所述待优化人脸网格构造目标函数，包括：基于所述多视角视频和所述待优化人脸网格构造语义分割损失函数、渲染损失函数和关键点损失函数；基于所述语义分割损失函数、渲染损失函数和关键点损失函数获得目标函数。
12、在本专利技术的第一方面的方法中，所述基于所述多视角视频和所述待优化人脸网格构造语义分割损失函数、渲染损失函数和关键点损失函数，包括：对于所述多视角视频的任一帧，利用人脸语义分割器和关键点检测器以获得各帧的目标人脸语义分割图和目标人脸2d关键点；对于所述多视角视频的各帧对应的待优化人脸网格，利用可导渲染器生成多个视角下的人脸语义分割图、人脸真实感渲染图和人脸2d关键点；对于各帧，基于所述人脸语义分割图与目标人脸语义分割图得到所述语义分割损失函数；基于所述人脸真实感渲染图与目标图片得到渲染损失函数；基于所述人脸2d关键点和所述目标人脸2d关键点得到关键点损失函数。
13、在本专利技术的第一方面的方法中，所述求解所述目标函数以获得人脸表面变量优化值和牙齿变量优化值，包括：利用反向传播机制和sgd求解所述目标函数，从而获得人脸表面变量优化值和牙齿变量优化值。
14、在本专利技术的第一方面的方法中，所述若人脸表面变量和牙齿变量收敛，则停止迭代输出人脸表面变量最优值和牙齿变量最优值，包括：判断当前迭代下的人脸表面变量和牙齿变量是否收敛，若不收敛，则利用当前迭代下的人脸表面变量优化值和牙齿变量优化值更新下一次迭代的人脸表面变量和牙齿变量，进入所述下一次迭代以获得新的人脸表面变量优化值和牙齿变量优化值，直至人脸表面变量和牙齿变量收敛，则停止迭代，输出最后一次迭代的人脸表面变量优化值和牙齿变量优化值，从而得到人脸表面变量最优值和牙齿变量最优值。
15、为达上述目的，本专利技术第二方面实施例提出了一种基于可导渲染的多视角视频人脸牙齿重建系统，包括：
16、获取模块，用于获取人脸的多视角视频；
17、优化模块，用于基于所述多视角视频，通过多次迭代获得人脸表面变量最优值和牙齿变量最优值，其中任一次迭代过程包括：针对所述多视角视频的每一帧，利用人脸表面变量和牙齿变量对人脸表面和牙齿分别建模，以得到待优化人脸网格；基于所述多视角视频和所述待优化人脸网格构造目标函数，求解所述目标函数以获得人脸表面变量优化值和牙齿变量优化值，若人脸表面变量和牙齿变量收敛，则停止迭代输出人脸表面变量最优值和牙齿变量最优值；
18、重建模块，用于利用所述人脸表面变量最优值和牙齿变量最优值重建出带有牙齿的人脸网格序列。
19、在本专利技术的第二方面的系统中，在所述优化模块中，针对所述多视角视频的每一帧，利用人脸表面变量和牙齿变量对人脸表面和牙齿分别建模，以得到待优化人脸网格，包括：任选一帧，基于人脸表面变量利用3d形变模型和移位贴图，对人脸表面进行建模，从而获得该帧的人脸表面网格；基于牙齿变量利用sdf的牙齿形变模型对牙齿进行建模，从而获得该帧的牙齿网格；对该帧设置待优化的刚性变换，基于所述待优化的刚性变换，将所述牙齿网格组装到对应帧的人脸表面网格中，从而得到该帧的待优化人脸网格。
20、为达上述目的，本专利技术第三方面实施例提出了一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现本专利技术第一方面提出的方法。
21、为达上述目的，本专利技术第四方面实施例提出了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现本专利技术第一方面提出的方法。
22、本专利技术提供的基于可导渲染的多视角视频人脸牙齿重建方法、系统、电子设备及存储介质，通过获取人脸的多视角视频；基于多视角视频，通过多次迭代获得人脸表面变量最优值和牙齿变量最优值，其中任一次迭代过程包本文档来自技高网...
【技术保护点】
1.一种基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，包括：
2.根据权利要求1所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，所述针对所述多视角视频的每一帧，利用人脸表面变量和牙齿变量对人脸表面和牙齿分别建模，以得到待优化人脸网格，包括：
3.根据权利要求2所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，基于所述多视角视频和所述待优化人脸网格构造目标函数，包括：
4.根据权利要求3所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，所述基于所述多视角视频和所述待优化人脸网格构造语义分割损失函数、渲染损失函数和关键点损失函数，包括：
5.根据权利要求4所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，所述求解所述目标函数以获得人脸表面变量优化值和牙齿变量优化值，包括：
6.根据权利要求5所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，所述若人脸表面变量和牙齿变量收敛，则停止迭代输出人脸表面变量最优值和牙齿变量最优值，包括：
7.一种基于可导渲染的多
8.根据权利要求7所述的基于可导渲染的多视角视频人脸牙齿重建系统，其特征在于，在所述优化模块中，针对所述多视角视频的每一帧，利用人脸表面变量和牙齿变量对人脸表面和牙齿分别建模，以得到待优化人脸网格，包括：任选一帧，基于人脸表面变量利用3D形变模型和移位贴图，对人脸表面进行建模，从而获得该帧的人脸表面网格；基于牙齿变量利用SDF的牙齿形变模型对牙齿进行建模，从而获得该帧的牙齿网格；对该帧设置待优化的刚性变换，基于所述待优化的刚性变换，将所述牙齿网格组装到对应帧的人脸表面网格中，从而得到该帧的待优化人脸网格。
9.根据权利要求8所述的基于可导渲染的多视角视频人脸牙齿重建系统，其特征在于，在所述优化模块中，基于所述多视角视频和所述待优化人脸网格构造目标函数，包括：基于所述多视角视频和所述待优化人脸网格构造语义分割损失函数、渲染损失函数和关键点损失函数；基于所述语义分割损失函数、渲染损失函数和关键点损失函数获得目标函数。
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
...【技术特征摘要】
1.一种基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，包括：
2.根据权利要求1所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，所述针对所述多视角视频的每一帧，利用人脸表面变量和牙齿变量对人脸表面和牙齿分别建模，以得到待优化人脸网格，包括：
3.根据权利要求2所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，基于所述多视角视频和所述待优化人脸网格构造目标函数，包括：
4.根据权利要求3所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，所述基于所述多视角视频和所述待优化人脸网格构造语义分割损失函数、渲染损失函数和关键点损失函数，包括：
5.根据权利要求4所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，所述求解所述目标函数以获得人脸表面变量优化值和牙齿变量优化值，包括：
6.根据权利要求5所述的基于可导渲染的多视角视频人脸牙齿重建方法，其特征在于，所述若人脸表面变量和牙齿变量收敛，则停止迭代输出人脸表面变量最优值和牙齿变量最优值，包括：
7.一种基于可导渲染的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。