三维场景渲染方法、设备以及存储介质技术

本申请实施例提供一种三维场景渲染方法、设备以及存储介质。在本申请实施例中，获取目标物体对应的显式三维模型和隐式三维表征模型，一方面基于显式三维模型对目标物体进行三维场景渲染，可以得到真实光照信息，一方面基于隐式三维表征模型针对目标物体进行视图合成，得到纹理信息更优质的视角图像；之后将真实光照信息迁移到视角图像上，实现基于显式三维模型的场景渲染与基于隐式三维表征模型的视图合成的结合，进而得到最终二维场景图像。其中，将基于显式三维模型的场景渲染与基于隐式三维表征模型的视图合成相结合，提高场景图像的质量，降低图像的失真度，充分发挥隐式3D表征的优势。表征的优势。表征的优势。

【技术实现步骤摘要】
三维场景渲染方法、设备以及存储介质


[0001]本申请涉及互联网
，尤其涉及一种三维场景渲染方法、设备以及存储介质。

技术介绍

[0002]新视角合成技术是指针对一个三维场景，使用该三维场景的已有图像生成任意视角下的高真实感图像的技术。新视角合成依赖三维场景精确的几何结构，但是，由于现实世界中的三维场景比较复杂，很难获得三维场景精确的几何结构，这导致新视角合成技术从理论到落地实施较为困难。
[0003]于是，业界提出了神经辐射场（Neural Radiance Field，NERF）算法，该算法利用全连接网络来表示三维场景，其输入是一个连续的5维坐标：空间位置（x，y，z）和视角方向（θ，
ϕ
），其输出是该空间位置处的体积密度和视角相关的颜色信息；进一步结合立体渲染（volume rendering）技术，可以将输出的颜色信息和体积密度投影到2D图像上，从而实现逼真的新视图合成。
[0004]然而，基于NERF的隐式3D表征并不能应用于传统的渲染管线之中，因此不能像传统的显式3D模型那样实现3D模型在不同本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像生成方法，其特征在于，包括：根据目标物体对应的显式三维模型和初始三维场景，生成包含所述显式三维模型的目标三维场景，所述显式三维模型在所述目标三维场景中对应第一相机位姿；对所述目标三维场景进行基于物理的渲染，至少得到初始二维场景图像和包括第一光照信息的第一光照图像，所述第一光照信息反映所述显式三维模型与所述目标三维场景之间的光照关系；根据所述第一相机位姿，利用所述目标物体对应的目标隐式三维表征模型生成所述目标物体对应的第一视角图像，所述第一视角图像具有第二光照信息；将所述第一光照图像中的第一光照信息和所述第一视角图像融合至所述初始二维场景图像中所述目标物体所在的图像区域，得到目标二维场景图像。2.根据权利要求1所述的方法，其特征在于，根据所述第一相机位姿，利用所述目标物体对应的目标隐式三维表征模型生成所述目标物体对应的第一视角图像，包括：根据所述显式三维模型在世界坐标系下的初始位姿和其在所述目标三维场景中的最终位姿，将所述第一相机位姿转换为世界坐标系下的第二相机位姿；根据所述第二相机位姿和所述显式三维模型进行渲染生成多条目标视线，并获取所述多条目标视线上空间点的空间坐标和视角信息；将所述多条目标视线上空间点的空间坐标和视角信息输入所述目标隐式三维表征模型进行视图合成，得到所述第一视角图像。3.根据权利要求2所述的方法，其特征在于，根据所述第二相机位姿和所述显式三维模型进行渲染生成多条目标视线，并获取所述多条目标视线上空间点的空间坐标和视角信息，包括：根据所述第二相机位姿对所述显式三维模型进行光栅化渲染，得到所述显式三维模型上位于所述第二相机位姿对应视野范围内的目标表面点及其颜色信息，所述目标表面点的颜色信息表示该目标表面点对应视线的平均视角信息；针对任一目标表面点，获取所述第二相机位姿对应的相机光心到所述目标表面点的目标视线上空间点的空间坐标，并将所述目标表面点的颜色信息转换为其所表示的平均视角信息作为所述目标视线上空间点的视角信息。4.根据权利要求3所述的方法，其特征在于，还包括：根据包含所述目标物体的多张原始图像进行基于神经网络的三维重建，得到初始隐式三维表征模型，所述目标物体上的表面点与对应原始图像中的像素点对应，且与拍摄到所述像素点的第一视线对应；根据所述初始隐式三维表征模型和所述多张原始图像，构建显式三维模型，所述显式三维模型包括所述目标物体上表面点的颜色信息，每个表面点的颜色信息是根据该表面点对应的第一视线的平均视角信息确定的；随机生成所述显式三维模型上表面点对应的第二视线，并根据每个表面点的颜色信息分别生成每个表面点对应的第二视线对应的平均视角信息；根据所述第二视线对应的平均视角信息和所述第二视线上空间点的空间坐标，基于所述初始隐式3D表征模型进行基于神经网络的三维重建，得到目标隐式3D表征模型。5.根据权利要求1所述的方法，其特征在于，将所述第一光照图像中的第一光照信息和
所述第一视角图像融合至所述初始二维场景图像中所述目标物体所在的图像区域，得到目标二维场景图像，包括：将所述第一光照图像中的第一光照信息迁移至所述第一视角图像中，得到具有所述第一光照信息的第二视角图像；将所述第二视角图像融合至所述初始二维场景图像中所述目标物体所在的图像区域，得到目标二维场景图像。6.根据权利要求5所述的方法，其特征在于，将所述第一光照图像中的第一光照信息迁移至所述第一视角图像中，得到具有所述第一光照信息的第二视角图像，包括：将所述第一光照图像和所述第一视角图像输入光照迁移模型中，利用所述光照迁移模型中的光照解耦网络将所述第二光照信息从所述第一视角图像中剥离，得到不带光照信息的第一中间态图像；利用所述光照迁移模型中的光照融合网络将所述第一光照图像中的第一光照信息与所述第一中间态图像进行融合，得到具有所述第一光照信息的第二视角图像。7.根据权利要求6所述的方法，其特征在于，利用所述光照迁移模型中的光照解耦网络将所述第二光照信息从所述第一视角图像中剥离，得到不带光照信息的第一中间态图像，包括：将所述第一视角图像输入所述光照解耦网络的编码器，对所述第一视角图像进行编码得到第一图像特征；将所述第一图像特征输入至所述光照解耦网络的第一解码器和第二解码器，分别对所述第一图像特征进行解码，得到所述...

【专利技术属性】
技术研发人员：李玉洁，付欢，蔡博文，章坚，罗鸿城，王家明，黄锦池，赵斌强，贾荣飞，汤兴，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：