三维模型重建与图像生成方法、设备以及存储介质技术

本申请实施例提供一种三维模型重建与图像生成方法、设备以及存储介质。在本申请实施例中，以包含目标物体的多张原始图像为基础分别进行基于神经网络的三维重建和传统的三维重建，得到初始隐式3D表征模型和显式三维模型；基于显式三维模型进行随机视线和平均视角的生成，通过产生随机视线并以随机视线对应的平均视角信息代替其真实视角信息的方式，利用随机视线及其对应的平均视角信息增强视线数据，基于增强后的视线数据继续进行基于神经网络的三维重建，可以得到对视线具有较强鲁棒性的隐式3D表征模型，大大提升基于该隐式3D表征模型合成不同视角图像时的鲁棒性。模型合成不同视角图像时的鲁棒性。模型合成不同视角图像时的鲁棒性。

【技术实现步骤摘要】
三维模型重建与图像生成方法、设备以及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种三维模型重建与图像生成方法、设备以及存储介质。

技术介绍

[0002]新视角合成技术是指针对一个三维场景，使用该三维场景的已有图像生成任意视角下的高真实感图像的技术。新视角合成依赖三维场景精确的几何结构，但是，由于现实世界中的三维场景比较复杂，很难获得三维场景精确的几何结构，这导致新视角合成技术从理论到落地实施较为困难。
[0003]于是，业界提出了神经辐射场（Neural Radiance Field，NERF）算法，该算法利用全连接网络来表示三维场景，其输入是一个连续的5维坐标：空间位置（x，y，z）和视角信息（θ，
ϕ
），其输出是该空间位置处的体积密度和视角相关的颜色信息；进一步结合立体渲染（volume rendering）技术，可以将输出的颜色信息和体积密度投影到2D图像上，从而实现新视图合成。由于简单结构和良好的渲染效果，NERF算法吸引了大量关注，但是，它的视角鲁棒性较差，部分视角的图像合成效果不好，难以应用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维模型重建方法，其特征在于，包括：根据包含目标物体的多张原始图像进行基于神经网络的三维重建，得到初始隐式3D表征模型，所述目标物体上的表面点与对应原始图像中的像素点对应，且与拍摄到所述像素点的第一视线对应；根据所述初始隐式3D表征模型和所述多张原始图像，构建显式三维模型，所述显式三维模型包括所述目标物体上表面点的颜色信息，每个表面点的颜色信息是根据该表面点对应的第一视线的平均视角信息确定的；随机生成所述显式三维模型上表面点对应的第二视线，并根据每个表面点的颜色信息分别生成每个表面点对应的第二视线对应的平均视角信息；根据所述第二视线对应的平均视角信息和所述第二视线上空间点的空间坐标，基于所述初始隐式3D表征模型进行基于神经网络的三维重建，得到目标隐式3D表征模型。2.根据权利要求1所述的方法，其特征在于，根据所述初始隐式3D表征模型和所述多张原始图像，构建显式三维模型，包括：根据所述多张原始图像的图像特征，确定所述目标物体对应的空间范围；基于所述空间范围和所述初始隐式3D表征模型生成所述目标物体对应的初始三维模型，所述初始三维模型包括所述目标物体上的表面点；将所述初始三维模型上每个表面点对应的第一视线的视角信息的平均值，分别转换为每个表面点的颜色信息，以得到所述显式三维模型。3.根据权利要求2所述的方法，其特征在于，基于所述空间范围和所述初始隐式3D表征模型生成所述目标物体对应的初始三维模型，包括：基于所述空间范围和所述初始隐式3D表征模型生成所述目标物体对应的标量场数据，所述标量场数据包括多个体积元素；对所述多个体积元素进行三角面解析，得到初始三维模型包含的多个三角面、所述多个三角面上的多个顶点及其空间坐标，所述多个三角面和多个顶点用于限定所述初始三维模型包含的各表面点。4.根据权利要求3所述的方法，其特征在于，所述空间范围为具有长宽高的长方体空间，基于所述空间范围和所述初始隐式3D表征模型生成所述目标物体对应的标量场数据，包括：对所述长方体空间在长宽高三个维度上进行等间隔采样得到多个目标空间点，其中，相邻8个目标空间点形成一个体积元素；将所述多个目标空间点的空间坐标输入所述初始隐式3D表征模型，得到所述多个目标空间点的体积密度；所述体积元素和所述体积元素包含的目标空间点的体积密度形成所述标量场数据。5.根据权利要求2所述的方法，其特征在于，还包括：生成每张原始图像对应的视角预存图，所述视角预存图中存储有该张原始图像中各像素点对应的第一视线的视角信息；相应地，将所述初始三维模型上每个表面点对应的第一视线的视角信息的平均值，分别转换为每个表面点的颜色信息，以得到所述显式三维模型，包括：针对任一表面点，根据所述多张原始图像对应的相机位姿，结合所述初始三维模型，从所述多张原始图像中确定包含所述表面点对应的目标像素点的至少一张目标原始图像；
将所述至少一张目标原始图像对应的视角预存图中存储的所述目标像素点对应的第一视线的视角信息的平均值转换为所述表面点的颜色信息。6.根据权利要求1
‑
5任一项所述的方法，其特征在于，还包括：生成每张原始图像对应的深度预存图，所述深度预存图中存储有该张原始图像中各像素点对应表面点的深度信息；相应地，随机生成所述显式三维模型上表面点对应的第二视线，包括：针对任一表面点，根据所述多张原始图像对应的相机位姿，结合所述显式三维模型，从所述多张原始图像中确定包含所述表面点对应的目标像素点的至少一张目标原始图像；针对每张目标原始图像，根据所述目标原始图像对应的深度预存图中存储的所述目标像素点对应表面点的深度信息，计算所述表面点的空间坐标，根据所述表面点的空间坐标和所述目标像素点对应的第一视线的视角信息，随机生成一条经过所述表面点且不同于所述目标像素点对应的第一视线的视线作为第二视线。7.根据权利要求6所述的方法，其特征在于，根据所述表面点的空间坐标和所述目标像素点对应的第一视线的视角信息，随机生成一条经过所述表面点且不同于所述目标像素点对应的第一视线的视线作为第二视线，包括：根据所述表面点的空间坐标和所述目标像素点对应的第一视线的视角信息，确定候选空间范围；在所述候选空间范围中，随机生成一条经过所述表面点且不同于所述目标像素点对应的第一视线的视线作为第二视线。8.根据权利要求7所述的方法，其特征在于，所述候选空...

【专利技术属性】
技术研发人员：章坚，付欢，黄锦池，罗鸿城，李玉洁，王家明，赵斌强，蔡博文，贾荣飞，汤兴，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：