【技术实现步骤摘要】
本申请涉及三维建模，具体涉及一种三维重建方法、电子设备及可读存储介质。
技术介绍
1、三维重建(即3d重建，又称为数字孪生)，是在计算机中还原出真实世界中的物体的技术，包括重建物体的轮廓(也即几何)、物体表面的材质等，再根据重建结果对物体的几何进行渲染，以得到真实质感的数字化虚拟物体及场景，并将3d重建结果投影到屏幕上。3d重建技术是虚拟现实(virtual reality，vr)技术、增强现实(augmented reality，ar)技术体现“沉浸式的虚拟世界”的重要技术，可以广泛应用于电影、游戏场景、商品展示以及数字博物馆等。
2、在3d重建中，材质是进行模型渲染的主要输入之一，是表现出真实、精美、照片级重建结果的关键因素。例如图1a和图1b所示，图1a为3d重建过程中未添加合适的高光材质进行渲染的重建结果，图1b为3d重建过程中添加合适的高光材质进行渲染的重建结果。可以看出，图1a所示的重建结果中物体瓷枕的感官比较粗糙，且没有瓷器的光泽，不能够体现出瓷器原本的质感，相比于瓷器而言，更像是大理石。图1b所示的重建结果中的物体瓷器，进行材质渲染，看起来更接近真实物体，具备瓷器的光泽感，同时可以体现出光影交互的效果，看起来更加舒服。
3、目前生成物体表面的材质的方法主要包括：(1)通过专业的材质采集设备，此种方法所需的设备价格昂贵，适用于科研的实验室场景，适用性不够广；(2)通过艺术家手工制作，效果较好，但是需要具备丰富经验的专业人员，且手工制作耗时长，效率较低；(3)基于拍摄的rgb图像进行材质重建，
技术实现思路
1、本申请实施例提供了一种三维重建方法、电子设备及可读存储介质，解决三维重建的材质结果不准确、不够真实的技术问题。
2、第一方面，本申请实施例提供了一种三维重建方法，应用于电子设备，包括：获取第一物体在自然光照下的多视角图像，其中，多视角图像为在多个不同视角拍摄的第一物体的多张图像；基于多视角图像进行三维几何重建，得到第一物体在三维空间坐标系下的以三维几何模型方式呈现的第一模型；对第一模型进行uv展开，得到第一模型的uv贴图，其中，uv贴图为第一模型在uv空间下的二维展开结果；基于多视角图像、第一模型和uv贴图，生成第一模型的uv空间的几何材质贴图和pbr材质贴图。
3、可以理解，第一物体即下文中的待重建物体，第一模型即下文实施例中的3d几何模型。uv空间为以u为横坐标，以v为纵坐标，或者以u为纵坐标，以v为横坐标的坐标系。
4、可以理解，几何材质贴图可以包括第一物体的几何相关的信息，例如第一模型上各像素点的法线信息、阴影信息等。pbr材质贴图可以包括第一物体的表面颜色相关的信息，例如第一模型上各像素点本身的颜色和基础纹理信息、对自然光照的反射信息、光泽度信息等。
5、在一些实施例中，几何材质贴图可以包括环境遮蔽贴图和法线贴图，pbr材质贴图可以包括镜面反射贴图、粗糙度贴图和漫反射贴图。在另一些实施例中，几何材质贴图和pbr材质贴图还可以包括比上述材质贴图更多的材质贴图，本申请对此不作限制。
6、本申请实施例提供的三维重建方法，通过对多视角图像、第一模型以及第一模型的uv贴图进行特征处理，可以生成uv空间的多种材质贴图，包括几何材质贴图以及pbr材质贴图，材质贴图可以覆盖整个第一模型，生成更加真实美观的材质表现。
7、在上述第一方面的一种可能的实现中，对多视角图像、第一模型和uv贴图进行分析处理，生成第一模型的uv空间的几何材质贴图和pbr材质贴图，包括：基于多视角图像、第一模型和uv贴图，生成第一模型的uv空间的纹理贴图和几何材质贴图；对纹理贴图进行特征分析，生成pbr材质贴图。
8、可以理解，几何材质贴图中包含了第一物体的几何相关的材质信息，纹理贴图中可以包括物体表面的颜色信息。
9、可以理解，本申请通过对生成的uv空间的纹理贴图进行特征分析，生成pbr材质贴图，而非采用神经网络，不依赖于特定的神经网络以及对应的训练数据，可以得到更加精确的pbr材质贴图。
10、在上述第一方面的一种可能的实现中，基于多视角图像、第一模型和uv贴图，生成第一模型的uv空间的纹理贴图和几何材质贴图，包括：对第一模型进行重投影，并结合uv贴图，生成几何材质贴图；基于多视角图像，对第一模型进行纹理映射，并结合第一模型的uv展开方式，生成纹理贴图，其中，uv展开方式是第一模型进行uv展开后计算得到uv贴图的映射关系。
11、可以理解，在对第一模型进行重投影，并结合uv贴图，生成几何材质贴图时，可以对第一模型进行重投影，然后结合uv贴图，采用几何材质生成算法，生成第一模型的几何材质贴图，生成的几何材质贴图可以覆盖整个第一模型，而不是单个视角下的平面的材质贴图，可以生成更加真实的几何材质表现。
12、在上述第一方面的一种可能的实现中，几何材质贴图包括法线贴图和环境遮蔽贴图。
13、可以理解，生成的几何材质贴图还可以包括其他种类的与几何相关的材质贴图，本申请对此不作限制。
14、在上述第一方面的一种可能的实现中，第一模型是网格表示的三维几何模型；对第一模型进行重投影，并结合uv贴图，生成几何材质贴图，包括：将三维空间坐标系下的第一模型中的网格顶点的法线信息投影到相机坐标系下，得到第一模型的多个视角的第一法线图；将多个视角的第一法线图转换至uv空间下，得到第一模型的第二法线图；对第二法线图进行像素填充，并结合第一模型的uv展开方式，生成第一模型在uv空间下的法线贴图。
15、可以理解，第一法线图即下文中的相机坐标系下的顶点级法线图，具体可以包括相机坐标系下第一物体在不同视角下，各网格顶点的法线信息，可以用法向量表示。第二法线图是将相机坐标系下的第一法线图通过坐标转换，转换至uv空间下得到的法线图。各第二法线图分别对应于不同视角下的第一法线图。
16、可以理解，生成第一法线图的过程可以为下文中的软光栅化的过程，生成第二法线图的过程可以为下文中切空间转换的过程，生成法线贴图的过程可以为下文中的三角面片像素填充的过程。
17、在上述第一方面的一种可能的实现中，对第一模型进行重投影，并结合uv贴图，生成几何材质贴图，包括：获取第一模型中对应多视角图像的各视角的深度信息以及法线信息作为输入数据；将输入数据输入神经网络模型进行推理，得到第一模型的多张表征第一物体的几何相关的阴影信息的环境遮蔽图；根据第一模型的uv展开方式以及多张环境遮蔽图，生成第一模型在uv空间下的环境遮蔽贴图。
18、在一些实施例中，还可以采用其他除了神经网络模型的方法完成环境遮蔽贴图重建，例如通过对多视角的法线信息和深度信息进行计算本文档来自技高网...
【技术保护点】
1.一种三维重建方法，应用于电子设备，其特征在于，包括：
2.根据权利要求1所述的三维重建方法，其特征在于，所述对所述多视角图像、所述第一模型和所述UV贴图进行分析处理，生成所述第一模型的UV空间的几何材质贴图和PBR材质贴图，包括：
3.根据权利要求2所述的三维重建方法，其特征在于，所述基于所述多视角图像、所述第一模型和所述UV贴图，生成所述第一模型的UV空间的纹理贴图和所述几何材质贴图，包括：
4.根据权利要求3所述的三维重建方法，其特征在于，所述几何材质贴图包括法线贴图和环境遮蔽贴图。
5.根据权利要求4所述的三维重建方法，其特征在于，所述第一模型是网格表示的三维几何模型；
6.根据权利要求4所述的三维重建方法，其特征在于，所述对所述第一模型进行重投影，并结合所述UV贴图，生成所述几何材质贴图，包括：
7.根据权利要求3所述的三维重建方法，其特征在于，所述PBR材质贴图包括漫反射贴图、粗糙度贴图和镜面反射贴图。
8.根据权利要求7所述的三维重建方法，其特征在于，所述对所述纹理贴图进行特征分析
9.根据权利要求7所述的三维重建方法，其特征在于，所述对所述纹理贴图进行特征分析，生成所述PBR材质贴图，包括：
10.根据权利要求9所述的三维重建方法，其特征在于，所述对所述亮度特征信息和所述梯度特征信息进行分析拟合，生成所述第一模型在所述UV空间下的所述镜面反射贴图和所述粗糙度贴图，包括：
11.根据权利要求10所述的三维重建方法，其特征在于，所述镜面反射权重和所述粗糙度权重是通过采用主成分分析法训练得到的。
12.根据权利要求11所述的三维重建方法，其特征在于，还包括：
13.根据权利要求12所述的三维重建方法，其特征在于，所述目标视角包括所述多视角图像对应的各个视角，所述方法还包括：
14.一种三维重建装置，其特征在于，包括：
15.一种电子设备，其特征在于，包括：一个或多个处理器；一个或多个存储器；所述一个或多个存储器存储有一个或多个程序，当所述一个或者多个程序被所述一个或多个处理器执行时，使得所述电子设备执行权利要求1至13中任一项所述的三维重建方法。
16.一种计算机可读存储介质，其特征在于，所述存储介质上存储有指令，所述指令在计算机上执行时使所述计算机执行权利要求1至13中任一项所述的三维重建方法。
17.一种计算机程序产品，其特征在于，所述计算机程序产品包括指令，该指令在执行时使计算机执行权利要求1至13中任一项所述的三维重建方法。
...【技术特征摘要】
1.一种三维重建方法，应用于电子设备，其特征在于，包括：
2.根据权利要求1所述的三维重建方法，其特征在于，所述对所述多视角图像、所述第一模型和所述uv贴图进行分析处理，生成所述第一模型的uv空间的几何材质贴图和pbr材质贴图，包括：
3.根据权利要求2所述的三维重建方法，其特征在于，所述基于所述多视角图像、所述第一模型和所述uv贴图，生成所述第一模型的uv空间的纹理贴图和所述几何材质贴图，包括：
4.根据权利要求3所述的三维重建方法，其特征在于，所述几何材质贴图包括法线贴图和环境遮蔽贴图。
5.根据权利要求4所述的三维重建方法，其特征在于，所述第一模型是网格表示的三维几何模型；
6.根据权利要求4所述的三维重建方法，其特征在于，所述对所述第一模型进行重投影，并结合所述uv贴图，生成所述几何材质贴图，包括：
7.根据权利要求3所述的三维重建方法，其特征在于，所述pbr材质贴图包括漫反射贴图、粗糙度贴图和镜面反射贴图。
8.根据权利要求7所述的三维重建方法，其特征在于，所述对所述纹理贴图进行特征分析，生成所述pbr材质贴图，包括：
9.根据权利要求7所述的三维重建方法，其特征在于，所述对所述纹理贴图进行特征分析，生成所述pbr材质贴图，包括：...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。