一种图像渲染方法、装置、设备、存储介质及产品制造方法及图纸

本申请实施例提供了一种图像渲染方法、装置、设备、存储介质及产品。本申请实施例提供的技术方案通过基于第一设定位姿下的第一相机对三维场景模型经表面绘制渲染得到场景渲染结果，以及基于第二设定位姿下的第二相机，将第一设定位姿下对神经辐射场模型的体渲染结果渲染到平面几何体中，得到平面渲染结果，并对平面渲染结果和场景渲染结果进行叠加处理得到目标渲染图像，通过将体渲染结果绘制到平面几何图中，再将三维场景模型的场景渲染结果和平面几何体的平面渲染结果进行叠加处理得到目标渲染图像，实现将神经辐射场模型与三维场景模型的结合，提高神经辐射场模型在场景模型中结合的图像渲染效果。型中结合的图像渲染效果。型中结合的图像渲染效果。

【技术实现步骤摘要】
一种图像渲染方法、装置、设备、存储介质及产品


[0001]本申请实施例涉及图像处理
，尤其涉及一种图像渲染方法、装置、设备、存储介质及产品。

技术介绍

[0002]随着图形处理技术的发展，基于隐式表达的神经辐射场模型在新视角图像生成的应用越来越广泛。神经辐射场基于深度学习的叠加体渲染技术，可以在输入有限视角图片的情况下，通过神经网络的建模出清晰的三维模型，并在任意的新视角渲染出对应图像。
[0003]但是基于神经辐射场模型的图像渲染是以体渲染为基础，与传统管线采用的表面渲染的渲染方式差别较大，神经辐射场模型难以应用到通用的三维场景模型中，神经辐射场模型在三维场景模型中结合的图像渲染效果较差。

技术实现思路

[0004]本申请实施例提供一种图像渲染方法、装置、设备、存储介质及产品，以解决相关技术中神经辐射场模型在三维场景模型中结合的图像渲染效果较差的技术问题，有效提高神经辐射场模型在三维场景模型中结合的图像渲染效果。
[0005]在第一方面，本申请实施例提供了一种图像渲染方法，包括：/>[0006]基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像渲染方法，其特征在于，包括：基于在第一设定位姿下的第一相机对三维场景模型进行表面绘制渲染处理得到场景渲染结果；获取在所述第一设定位姿下对神经辐射场模型的体渲染结果；基于在第二设定位姿下的第二相机将所述体渲染结果渲染到设定的平面几何体中，得到平面渲染结果；对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像。2.根据权利要求1所述的图像渲染方法，其特征在于，所述神经辐射场模型为稀疏神经辐射网格模型，所述获取在所述第一设定位姿下对神经辐射场模型的体渲染结果，包括：基于所述第一设定位姿从神经辐射场模型对应的体素网格中获取对应的不透明度信息、漫反射颜色以及特征向量；基于所述不透明度信息、所述漫反射颜色以及所述特征向量生成体渲染结果。3.根据权利要求2所述的图像渲染方法，其特征在于，所述基于所述不透明度信息、所述漫反射颜色以及所述特征向量生成体渲染结果，包括：通过设定的多层感知器对所述不透明度信息以及所述特征向量进行分析处理，得到与视角相关的视角颜色；基于所述视角颜色和所述漫反射颜色生成体渲染结果。4.根据权利要求1所述的图像渲染方法，其特征在于，所述第一相机为透视相机，所述第二相机为正交相机，所述平面几何体的尺寸与屏幕尺寸一致，所述第二设定位姿对应的视角正交于所述平面几何体。5.根据权利要求1所述的图像渲染方法，其特征在于，所述对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像，包括：基于所述体渲染结果中各个像素位置对应的第一透明度，确定所述平面渲染结果中各个像素位置对应的第二透明度；基于所述第二透明度，对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像。6.根据权利要求1所述的图像渲染方法，其特征在于，所述对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像，包括：基于所述第一相机和所述第二相机的视角变换关系，确定所述平面几何体在所述三维场景模型上对应的深度坐标；基于所述深度坐标对所述平面渲染结果和所述场景渲染结果进行叠加处理，得到目标渲染图像。7.根据权利要求6所述的图像渲染方法，其特征在于，所述平面几何...

【专利技术属性】
技术研发人员：徐颖，李玉乐，项伟，
申请(专利权)人：北京洛塔信息技术有限公司，
类型：发明
国别省市：