【技术实现步骤摘要】
本公开涉及计算机图形学技术，更具体地讲，涉及三维场景渲染方法及装置、电子设备、存储介质。
技术介绍
1、随着vr/ar的发展，3d场景变得越来越重要，用户对3d场景的质量要求也越来越高，而传统的3d建模方式耗时耗力，生成质量好的3d场景成本非常高。神经渲染是一项突破性技术，它可以从一个场景的多张不同角度的照片生成高保真隐式3d模型，然后生成新视角的场景图像，丰富了生成3d场景的图像数据库。与传统的建模和渲染方法相比，神经渲染技术可以大大降低建模成本，提高渲染结果的真实感。
2、一般实际应用中需要渲染图像有较高的分辨率，虽然神经渲染技术相较于传统的建模，已经降低了建模成本低，使得场景图像更真实，但是为了获得更高分辨率的渲染图像，如vr/ar场景，现有的神经渲染技术的渲染时间和训练时间仍需要较长的时间，难以满足实际应用的需求。
技术实现思路
1、本公开提供了一种三维场景渲染方法及装置、电子设备、存储介质，以至少解决上述相关技术中渲染时间和训练时间较长的问题。
2、根据本公开示例性实施方式的第一方面，提供一种三维场景渲染方法，包括：将目标对象在目标视角对应的空间位置信息输入目标对象对应的神经渲染模型，得到第二图像；从多个第一图像中选择第二图像的参考图像，其中，多个第一图像是基于目标对象在多个不同视角的图像得到的且第一图像的分辨率低于多个不同视角的图像的分辨率，第二图像的分辨率低于多个不同视角的图像的分辨率；基于第二图像、参考图像、第二图像和参考图像各自的空间位置信
3、可选地，从多个第一图像中选择第二图像的参考图像，包括：基于每个第一图像与第二图像的距离，从多个第一图像中选择第二图像的参考图像；或者，从多个第一图像中随机选择一个第一图像，作为第二图像的参考图像。
4、可选地，基于所述第二图像、参考图像、第二图像和参考图像各自的空间位置信息，获取第三图像，包括：基于第二图像和参考图像各自的空间位置信息，利用参考图像对第二图像进行补偿，得到第三图像。
5、可选地，基于第二图像和参考图像各自的空间位置信息，利用参考图像对第二图像进行补偿，得到第三图像，包括：获取第二图像和参考图像各自的图像特征；基于第二图像和参考图像各自的空间位置信息，获取第二图像和参考图像各自的位置特征；将图像特征和位置特征输入残差超分辨网络，得到第三图像。
6、可选地，基于第二图像和参考图像各自的空间位置信息，获取第二图像和参考图像各自的位置特征，包括：从第二图像和参考图像各自的空间位置信息中，提取各自的三维位置坐标；对每个三维位置坐标分别进行编码，得到每个三维位置坐标对应的位置特征。
7、可选地，残差超分辨网络包括多个残差块且多个残差块之间级联连接。
8、可选地，将图像特征和位置特征输入残差超分辨网络，得到第三图像，包括：将图像特征和位置特征进行融合，得到融合特征；将融合特征输入残差超分辨网络，得到第三图像。
9、可选地，上述多个第一图像通过如下方式获取：获取目标对象在多个不同视角的图像；对多个不同视角的图像进行下采样处理，得到多个第一图像。
10、可选地，在基于第二图像、参考图像、第二图像和参考图像各自的空间位置信息，获取第三图像之后，还包括：基于目标对象在多个不同视角的图像和第三图像，获取目标对象的3d显示结果。
11、可选地，残差超分辨网络是通过如下方式进行训练的：获取两个图像集，其中，每个图像集包含目标对象在多个不同视角下的图像和每个图像的空间位置信息；基于两个图像集中的图像，得到两个处理后的图像集，其中，每个处理后的图像集中图像的分辨率低于两个图像集中图像的分辨率；通过两个处理后的图像集中第一图像集对初始神经渲染模型进行训练，得到目标对象对应的神经渲染模型；将两个处理后的图像集中第二图像集中每个图像的空间位置信息，输入到神经渲染模型，得到预估第二图像，其中，第二图像的分辨率低于两个图像集中图像的分辨率；从第一图像集中，确定每个预估第二图像的预估参考图像；基于预估第二图像、预估参考图像、预估第二图像和预估参考图像各自的空间位置信息，对残差超分辨网络进行训练。
12、根据本公开示例性实施方式的第二方面，提供一种三维场景渲染装置，包括：第一获取单元，被配置为将目标对象在目标视角对应的空间位置信息输入目标对象对应的神经渲染模型，得到第二图像；选择单元，被配置为从多个第一图像中选择第二图像的参考图像，其中，多个第一图像是基于目标对象在多个不同视角的图像得到的且第一图像的分辨率低于多个不同视角的图像的分辨率，第二图像的分辨率低于多个不同视角的图像的分辨率；第二获取单元，被配置为基于第二图像、参考图像、第二图像和参考图像各自的空间位置信息，获取第三图像，其中，第三图像的分辨率与多个不同视角的图像的分辨率相同。
13、可选地，选择单元，还被配置为基于每个第一图像与第二图像的距离，从多个第一图像中选择第二图像的参考图像；或者，从多个第一图像中随机选择一个第一图像，作为第二图像的参考图像。
14、可选地，第二获取单元，还被配置为基于第二图像和参考图像各自的空间位置信息，利用参考图像对第二图像进行补偿，得到第三图像。
15、可选地，第二获取单元，还被配置为获取第二图像和参考图像各自的图像特征；基于第二图像和参考图像各自的空间位置信息，获取第二图像和参考图像各自的位置特征；将图像特征和位置特征输入残差超分辨网络，得到第三图像。
16、可选地，第二获取单元，还被配置为从第二图像和参考图像各自的空间位置信息中，提取各自的三维位置坐标；对每个三维位置坐标分别进行编码，得到每个三维位置坐标对应的位置特征。
17、可选地，残差超分辨网络包括多个残差块且多个残差块之间级联连接。
18、可选地，第二获取单元，还被配置为将图像特征和位置特征进行融合，得到融合特征；将融合特征输入残差超分辨网络，得到第三图像。
19、可选地，上述装置还包括：第三获取单元，被配置为获取目标对象在多个不同视角的图像；对多个不同视角的图像进行下采样处理，得到多个第一图像。
20、可选地，第三获取单元，还被配置为在基于第二图像、参考图像、第二图像和参考图像各自的空间位置信息，获取第三图像之后，基于目标对象在多个不同视角的图像和第三图像，获取目标对象的3d显示结果。
21、可选地，上述装置还包括：训练单元，被配置为通过如下方式训练残差超分辨网络：获取两个图像集，其中，每个图像集包含目标对象在多个不同视角下的图像和每个图像的空间位置信息；基于两个图像集中的图像，得到两个处理后的图像集，其中，每个处理后的图像集中图像的分辨率低于两个图像集中图像的分辨率；通过两个处理后的图像集中第一图像集对初始神经渲染模型进行训练，得到目标对象对应的神经渲染模型；将两个处理后的图像集中第二图像集中每个图像的空本文档来自技高网...
【技术保护点】
1.一种三维场景渲染方法，其特征在于，包括：
2.根据权利要求1所述三维场景渲染方法，其特征在于，所述从所述多个第一图像中选择所述第二图像的参考图像，包括：
3.根据权利要求1所述三维场景渲染方法，其特征在于，所述基于所述第二图像、参考图像、所述第二图像和所述参考图像各自的空间位置信息，获取第三图像，包括：
4.根据权利要求3所述三维场景渲染方法，其特征在于，所述基于所述第二图像和所述参考图像各自的空间位置信息，通过所述参考图像对所述第二图像进行补偿，得到所述第三图像，包括：
5.根据权利要求4所述的三维场景渲染方法，其特征在于，所述基于所述第二图像和所述参考图像各自的空间位置信息，获取所述第二图像和所述参考图像各自的位置特征，包括：
6.根据权利要求4所述的三维场景渲染方法，其特征在于，所述残差超分辨网络包括多个残差块且所述多个残差块之间级联连接。
7.根据权利要求4所述的三维场景渲染方法，其特征在于，所述将所述图像特征和所述位置特征输入残差超分辨网络，得到所述第三图像，包括：
8.根据权利要求
9.根据权利要求1所述的三维场景渲染方法，其特征在于，在基于所述第二图像、参考图像、所述第二图像和所述参考图像各自的空间位置信息，获取第三图像之后，还包括：
10.根据权利要求4所述的三维场景渲染方法，其特征在于，所述残差超分辨网络是通过如下方式进行训练的：
11.一种三维场景渲染装置，其特征在于，包括：
12.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，实现如权利要求1至10中任一项所述的三维场景渲染方法。
13.一种电子设备，其特征在于，包括：
...【技术特征摘要】
1.一种三维场景渲染方法，其特征在于，包括：
2.根据权利要求1所述三维场景渲染方法，其特征在于，所述从所述多个第一图像中选择所述第二图像的参考图像，包括：
3.根据权利要求1所述三维场景渲染方法，其特征在于，所述基于所述第二图像、参考图像、所述第二图像和所述参考图像各自的空间位置信息，获取第三图像，包括：
4.根据权利要求3所述三维场景渲染方法，其特征在于，所述基于所述第二图像和所述参考图像各自的空间位置信息，通过所述参考图像对所述第二图像进行补偿，得到所述第三图像，包括：
5.根据权利要求4所述的三维场景渲染方法，其特征在于，所述基于所述第二图像和所述参考图像各自的空间位置信息，获取所述第二图像和所述参考图像各自的位置特征，包括：
6.根据权利要求4所述的三维场景渲染方法，其特征在于，所述残差超分辨网络包括多个残差块且所述多个残差块之间级...
【专利技术属性】
技术研发人员：唐晓，姜研，马钺，张帆，朱峰，
申请(专利权)人：三星中国半导体有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。