【技术实现步骤摘要】
本公开涉及具有神经场景表示数据的方法和装置。
技术介绍
1、在计算机图形学的领域中，用于模仿真实相机的成像模型的典型方法(包括复杂材料和全局照明处理)模拟从光源到虚拟相机的光传播，以基于物理定律来进行合成。通常，场景的所有物理参数需要在渲染过程中确定。例如，这些参数包括关于场景几何特性和材料特性(例如，反射率或不透明度)的信息。因此，典型的光线追踪技术可以使用该信息来生成逼真图像。
技术实现思路
1、提供本
技术实现思路
以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在标识所请求保护的主题的关键特征或基本特征，也不意在用于帮助确定所请求保护的主题的范围。
2、在一个总体方面，这里提供一种电子设备，包括处理器，该处理器被配置为：针对多个查询输入中的每个查询输入，使用针对对应查询输入从多条因子数据中单独提取的因子来生成点信息，以及使用点的点信息来生成像素位置的像素信息，并且多个查询输入是3d空间中在自视点朝向二维(2d)场景的像素位置的观察方向上的点的查询输入。
3、该处理器可以被配置为针对多个查询输入确定坐标和表示观察方向的方向信息，每个坐标表示3d空间中的对应点。
4、针对生成点信息，该处理器可以被配置为使用从多条因子数据中单独提取的因子的向量外积来计算点信息。
5、针对生成点信息，该处理器可以被配置为：针对每个查询输入，基于多条因子数据中的与颜色相关的多条第一因子数据来计算与对应查询输入相对应的点的颜色
6、针对生成点信息，该处理器可以被配置为：基于在多条因子数据中的一条因子数据中不存在所请求的体素，确定与3d空间内的体素中的所请求的体素附近的体素相对应的周围查询输入，以及使用基于周围查询输入获得的多条周围点信息来计算与所请求的体素相对应的点信息。
7、针对生成像素信息，该处理器可以被配置为：使用点的点信息将像素位置的颜色值确定为像素位置的像素信息，并且该处理器还可以被配置为通过重复确定针对2d场景所包括的像素位置的颜色值来生成与2d场景相对应的图像。
8、针对生成像素信息，该处理器可以被配置为根据观察方向来获得点的颜色和体积密度曲线，以及基于所获得的颜色和体积密度曲线来确定像素信息。
9、针对生成像素信息，该处理器可以被配置为根据多种分辨率中的一种分辨率来使用多条因子数据。
10、针对生成点信息，该处理器可以被配置为：基于第一分辨率使用多条因子数据来计算3d空间中在观察方向上的点中与具有第一分辨率的网格相对应的第一体素的第一点信息，以及基于高于第一分辨率的第二分辨率使用多条因子数据来计算在第一体素附近的具有第二分辨率的第二体素的第二点信息，并且针对生成像素信息，该处理器可以被配置为基于第一点信息和第二点信息来确定像素信息。
11、该处理器可以被配置为：生成表示3d空间的目标空间张量，将目标空间张量因子分解为多个张量集合，以及将多个张量集合构建为多条因子数据。
12、针对生成目标空间张量，该处理器可以被配置为通过提取3d空间中的体素的一部分来压缩3d空间。
13、针对生成目标空间张量，该处理器可以被配置为从3d空间中的体素中选择体积密度超过阈值的体素。
14、该处理器可以被配置为通过将目标空间张量因子分解为维度低于该目标空间张量的维度的张量来构建每个张量集合。
15、多个张量集合中的每一个可以是三个向量的集合。
16、多个张量集合中的每一个可以是向量和矩阵的集合。
17、该设备可以包括存储器，并且该处理器可以被配置为：通过基于基张量合并多个张量集合来生成与每个基张量相对应的多条因子数据，以及将多条因子数据存储在存储器中，针对生成点信息，该处理器还可以被配置为加载多条因子数据。
18、生成目标空间张量可以基于从预先构建的神经场景表示(nsr)数据立方体或使用神经网络构建的nsr数据立方体中提取与3d空间相对应的体素。
19、生成点信息可以基于像素信息的生成和多条因子数据，并行于针对2d场景的图像的其他像素的点信息和像素信息的一个或多个附加相应生成。
20、该设备可以包括存储指令的存储器，当该指令由处理器执行时，配置该处理器执行点信息的生成和像素信息的生成。
21、在一个总体方面，这里提供一种计算机实现的方法，包括：针对多个查询输入中的每个查询输入，使用针对对应查询输入从多条因子数据中单独提取的因子值来生成点信息，以及使用点的点信息来生成像素位置的像素信息，并且多个查询输入是三维(3d)空间中在自视点朝向二维(2d)场景图像的像素位置的观察方向上的点的查询输入。
22、在一个总体方面，这里提供了一种移动终端，包括：输入/输出接口，被配置为根据来自针对二维(2d)场景的观察方向的视点，获得针对三维(3d)空间中的多个点的多个查询输入；以及处理器，被配置为：针对多个查询输入中的每个查询输入，使用针对对应查询输入从多条因子数据中单独提取的因子来生成点信息；针对多个查询输入中的每个查询输入，生成与要生成的因子数据相关的像素信息；以及生成与2d场景相对应的图像。
23、其他特征和方面将通过以下详细描述、附图和权利要求变得清楚明白。
本文档来自技高网...【技术保护点】
1.一种电子设备，包括：
2.根据权利要求1所述的电子设备，其中，所述处理器还被配置为针对所述多个查询输入确定坐标和方向信息，所述坐标中的每个坐标表示所述3D空间中的对应点，且所述方向信息表示所述观察方向。
3.根据权利要求1所述的电子设备，其中，针对生成所述点信息，所述处理器被配置为使用从所述多条因子数据中单独提取的因子的向量外积来计算所述点信息。
4.根据权利要求1所述的电子设备，其中，针对生成所述点信息，所述处理器被配置为：
5.根据权利要求1所述的电子设备，其中，针对生成所述点信息，所述处理器被配置为：
6.根据权利要求1所述的电子设备，其中，所述处理器被配置为：针对生成所述像素信息，通过使用所述点的所述点信息将所述像素位置的颜色值确定为所述像素位置的所述像素信息，以及
7.根据权利要求1所述的电子设备，其中，针对生成所述像素信息，所述处理器被配置为：
8.根据权利要求1所述的电子设备，其中，所述处理器被配置为根据多种分辨率中的一种分辨率使用所述多条因子数据来生成所述像素信息。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。