本公开涉及图像处理技术领域，尤其是提供了一种模型重建方法、装置、电子设备和计算机可读存储介质，该模型重建方法包括：至少基于从不同视角捕获的目标对象的多个图像，获取目标对象的第一全身模型；至少基于多个图像以及第一全身模型，获取目标对象的第二面部模型，其中，第一全身模型与第二面部模型的尺度和位姿相互匹配；以及基于第一全身模型和第二面部模型，生成第三全身模型，其中至少第一全身模型和第二面部模型的边缘部分相互融合。根据本公开的模型重建方法获得目标对象的高质量的全身模型，而不受目标对象自身微动的影响。
【技术实现步骤摘要】
本公开涉及图像处理，尤其是涉及一种模型重建方法、装置、电子设备和计算机可读存储介质。
技术介绍
1、目前，三维模型重建是用相机拍摄真实世界的物体、场景等目标对象，通过计算机视觉技术进行处理，从而得到目标对象的三维模型，并且可以根据需要在三维模型上渲染相应的纹理贴图以呈现真实的目标对象显示效果。
2、在利用单个相机环拍诸如人体的目标对象的情况下，由于人体的微动，现有的三维模型重建往往无法实现高质量的模型重建。
技术实现思路
1、鉴于上述问题而提出了本公开。本公开提供了一种模型重建方法、装置、电子设备和计算机可读存储介质。
2、根据本公开的一个方面，提供了一种模型重建方法，包括：至少基于从不同视角捕获的目标对象的多个图像，获取目标对象的第一全身模型；至少基于多个图像以及第一全身模型，获取目标对象的第二面部模型，其中，第一全身模型与第二面部模型的尺度和位姿相互匹配；以及基于第一全身模型和第二面部模型，生成第三全身模型，其中至少第一全身模型和第二面部模型的边缘部分相互融合。
3、此外，根据本公开一个方面的模型重建方法，至少基于多个图像以及第一全身模型，获取目标对象的第二面部模型，包括：至少基于多个图像的面部关键点信息，确定多个图像的面部朝向信息；至少基于多个图像的面部掩膜信息以及多个图像的面部语义分割信息，确定多个图像的面部区域信息；以及至少基于面部朝向信息、面部区域信息，选择多个图像中用于获取目标对象的第二面部模型的一个或多个面部建模图像。
>4、此外，根据本公开一个方面的模型重建方法，至少基于多个图像以及第一全身模型，获取目标对象的第二面部模型，还包括：基于一个或多个面部建模图像，获取目标对象的初始面部模型；基于第一全身模型，获取对应于一个或多个面部建模图像的深度图像；至少基于深度图像和一个或多个面部建模图像的二维面部关键点信息，确定一个或多个面部建模图像的三维面部关键点信息；基于三维面部关键点信息，获取预定特征点第一距离信息；基于初始面部模型，获取相应的预定特征点第二距离信息；基于预定特征点第一距离信息和预定特征点第二距离信息，确定初始面部模型的尺度信息；以及基于三维面部关键点信息，确定初始面部模型的位姿信息。5、此外，根据本公开一个方面的模型重建方法，至少基于多个图像以及第一全身模型，获取目标对象的第二面部模型，还包括：将三维面部关键点信息投影到一个或多个面部建模图像，获取投影的三维面部关键点信息；至少基于三维面部关键点信息，获取三维面部关键点深度信息；以及至少基于投影的三维面部关键点信息、三维面部关键点深度信息、初始面部模型的尺度信息和初始面部模型的位姿信息中的一项或多项，获取目标对象的第二面部模型。
6、此外，根据本公开一个方面的模型重建方法，基于第一全身模型和第二面部模型，生成第三全身模型，包括：以第一全身模型和第二面部模型之间相应点的距离作为损失函数，调整第二面部模型以使得损失函数收敛，其中，第二面部模型中的不同区域具有不同的调整权重。
7、此外，根据本公开一个方面的模型重建方法，基于第一全身模型和第二面部模型，生成第三全身模型，还包括：获取对应于第一全身模型的全身点云，并且获取对应于第二面部模型的面部点云；基于全身点云和面部点云中所有点的位置信息和语义信息，为全身点云和面部点云中所有点配置相应的点云权重信息；以及基于全身点云、面部点云以及点云权重信息，生成第三全身模型。
8、此外，根据本公开一个方面的模型重建方法，至少基于从不同视角捕获的目标对象的多个图像，获取目标对象的第一全身模型，包括：基于多个图像以及多个图像的捕获参数，确定模型空间内的符号距离场；以及基于符号距离场，获取第一全身模型。
9、根据本公开的另一个方面，提供了一种模型重建装置，包括：第一全身模型获取单元，被配置为至少基于从不同视角捕获的目标对象的多个图像，获取目标对象的第一全身模型；第二面部模型获取单元，被配置为至少基于多个图像以及第一全身模型，获取目标对象的第二面部模型，其中，第一全身模型与第二面部模型的尺度和位姿相互匹配；以及第三全身模型生成单元，被配置为基于第一全身模型和第二面部模型，生成第三全身模型，其中至少第一全身模型和第二面部模型的边缘部分相互融合。
10、根据本公开的又一个方面，提供了一种电子设备，包括：存储器，用于存储计算机可读指令；以及处理器，用于运行计算机可读指令，使得电子设备执行如上的模型重建方法。
11、根据本公开的再一个方面，提供了一种计算机可读存储介质，用于存储计算机可读指令，当计算机可读指令由处理器执行时，使得处理器执行如上的模型重建方法。
12、如以下将详细描述的，根据本公开实施例的模型重建方法、装置、电子设备和计算机可读存储介质，通过先基于单相机的环拍的多个图像生成诸如人体的目标对象的初步全身模型，再基于该初步全身模型和标准人脸网格模型生成目标对象的高质量面部模型，最后将尺度和位姿相互匹配的初步全身模型和高质量面部模型进行融合，得到目标对象的高质量的全身模型。根据本公开实施例的模型重建方法获得目标对象的高质量的全身模型，而不受目标对象自身微动的影响。
13、要理解的是，前面的一般描述和下面的详细描述两者都是示例性的，并且意图在于提供要求保护的技术的进一步说明。
本文档来自技高网...
【技术保护点】
1.一种模型重建方法，其特征在于，所述方法包括：
2.如权利要求1所述的模型重建方法，其特征在于，所述至少基于所述多个图像以及所述第一全身模型，获取所述目标对象的第二面部模型，包括：
3.如权利要求2所述的模型重建方法，其特征在于，所述至少基于所述多个图像以及所述第一全身模型，获取所述目标对象的第二面部模型，还包括：
4.如权利要求3所述的模型重建方法，其特征在于，所述至少基于所述多个图像以及所述第一全身模型，获取所述目标对象的第二面部模型，还包括：
5.如权利要求1到4的任一项所述的模型重建方法，其特征在于，所述基于所述第一全身模型和所述第二面部模型，生成第三全身模型，包括：
6.如权利要求5所述的模型重建方法，其特征在于，所述基于所述第一全身模型和所述第二面部模型，生成第三全身模型，还包括：
7.如权利要求1到4的任一项所述的模型重建方法，其特征在于，所述至少基于从不同视角捕获的目标对象的多个图像，获取所述目标对象的第一全身模型，包括：
8.一种模型重建装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的模型重建方法。
...
【技术特征摘要】
1.一种模型重建方法，其特征在于，所述方法包括：
2.如权利要求1所述的模型重建方法，其特征在于，所述至少基于所述多个图像以及所述第一全身模型，获取所述目标对象的第二面部模型，包括：
3.如权利要求2所述的模型重建方法，其特征在于，所述至少基于所述多个图像以及所述第一全身模型，获取所述目标对象的第二面部模型，还包括：
4.如权利要求3所述的模型重建方法，其特征在于，所述至少基于所述多个图像以及所述第一全身模型，获取所述目标对象的第二面部模型，还包括：
5.如权利要求1到4的任一项所述的模型重建方法，其特征在于，所述基于所述第一全身模型和所述第二面部模型，生...
【专利技术属性】
技术研发人员：张超，王书蘅，李文发，柯锦乐，周逸峰，徐屹，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。