多视角三维重建方法、装置、电子设备和可读存储介质制造方法及图纸

本申请提供一种多视角三维重建方法、装置、电子设备和可读存储介质，在获得多组分别包含多张同一时刻从不同视角采集的训练图像的训练样本后，将各训练图像与预设的拓扑人脸模型进行拟合，根据拟合参数以及拓扑人脸模型，得到各训练图像的样本标签，利用携带样本标签的各组训练样本对构建的神经网络模型进行训练，直至满足预设要求时得到三维重建模型。该方案采用的各训练样本为同一时刻的多张训练图像，可保障人脸表情的一致性，可从人脸形状和人脸表情方面实现模型的优化，且训练图像的样本标签基于拟合拓扑人脸模型得到，样本标签具有规范、精准的效果，进而提升模型的训练效果。练效果。练效果。

【技术实现步骤摘要】
多视角三维重建方法、装置、电子设备和可读存储介质


[0001]本申请涉及图像处理
，具体而言，涉及一种多视角三维重建方法、装置、电子设备和可读存储介质。

技术介绍

[0002]目前，在很多应用场景下需要进行人脸的三维重建，例如在直播应用场景下，可以基于主播的图像进行人脸三维重建，以应用到对于数字人、换脸、AI三维动效等的控制应用中。
[0003]现有技术中，在进行人脸三维重建时，有采用采集多张不同时刻的人脸图像进行重建模型的约束和优化的方案。但是这种方式中，由于人脸表情不断变化，虽然依据不同视角人脸图像进行模型优化，但是只能从人脸形状方面达到优化效果，对于人脸表情方面的优化效果很差。并且，用于模型训练的人脸图像的标签基于手动标注，这种方式存在标签信息不准确、不规范的问题。

技术实现思路

[0004]本申请的目的包括，例如，提供了一种多视角三维重建方法、装置、电子设备和可读存储介质，其能够从人脸形状和人脸表情方面实现准确地三维重建。
[0005]本申请的实施例可以这样实现：
[0006]第一方面，本申本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多视角三维重建方法，其特征在于，所述方法包括：获取多组训练样本，每组训练样本包括多张同一时刻从不同视角采集的训练图像；针对各组训练样本，将各所述训练图像与预设的拓扑人脸模型进行拟合，根据拟合参数以及拓扑人脸模型，得到各所述训练图像的样本标签；利用携带样本标签的各组训练样本对构建的神经网络模型进行训练，直至满足预设要求时得到三维重建模型。2.根据权利要求1所述的多视角三维重建方法，其特征在于，每组训练样本包括的多张训练图像划分为第一视角训练图像和第二视角训练图像，所述神经网络模型包括第一分支模型和第二分支模型；所述利用携带样本标签的各组训练样本对构建的神经网络模型进行训练，直至满足预设要求时得到三维重建模型的步骤，包括：利用携带样本标签的第一视角训练图像对第一分支模型进行训练，直至满足预设要求时得到目标第一分支模型；基于所述目标第一分支模型，并根据所述第一视角训练图像、第二视角训练图像对第二分支模型进行训练，直至满足预设要求时得到目标第二分支模型。3.根据权利要求2所述的多视角三维重建方法，其特征在于，所述基于所述目标第一分支模型，并根据所述第一视角训练图像、第二视角训练图像对第二分支模型进行训练，直至满足预设要求时得到目标第二分支模型的步骤，包括：将所述第一视角训练图像和第二视角训练图像分别导入所述目标第一分支模型和第二分支模型；利用所述目标第一分支模型得到所述第一视角训练图像的中间特征信息；结合所述第一视角训练图像的中间特征信息和所述第二视角训练图像对所述第二分支模型进行训练，直至满足预设要求时得到目标第二分支模型。4.根据权利要求1所述的多视角三维重建方法，其特征在于，所述利用携带样本标签的各组训练样本对构建的神经网络模型进行训练，直至满足预设要求时得到三维重建模型的步骤，包括：将各组训练样本导入构建的神经网络模型进行处理，输出各所述训练样本的输出系数；根据所述输出系数、拓扑人脸模型和样本标签，计算得到损失函数值；调整所述神经网络模型的模型参数后继续训练，直至所述损失函数值满足预设要求时停止训练，得到三维重建模型。5.根据权利要求4所述的多视角三维重建方法，其特征在于，所述根据所述输出系数、拓扑人脸模型和样本标签，计算得到损失函数值的步骤，包括：基于所述输出系数和拓扑人脸模型构建预测项，将所述训练样本携带的样本标签作为标签项；基于所述预测项和标签项构建损失函数，计算得到损失函数值。6.根据权利要求5所述的多视角三维重建方法，其特征在于，所述拓扑人脸模型包括拓扑平均脸模型、拓扑人脸形状模型以及拓扑人脸表情模型，所述输出系数包括人脸形状系数、人脸表情系数和仿射变...

【专利技术属性】
技术研发人员：芦爱余，李志文，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：