场景数据的生成方法、装置、电子设备和存储介质制造方法及图纸

本公开提供了一种场景数据的生成方法、装置、电子设备和存储介质，涉及人工智能领域，具体涉及深度学习、计算机视觉、增强现实和虚拟现实等技术领域，可应用于元宇宙等场景。场景数据的生成方法的具体实现方案为：对神经辐射场输出的体素网格数据进行不同粒度地至少两次采样，得到至少两个采样结果；其中，神经辐射场是根据多个视角下目标场景的多个图像构建的；根据至少两个采样结果中的每个采样结果提取纹理特征，得到与至少两个采样结果分别对应的至少两个纹理特征；根据每个采样结果和与每个采样结果对应的纹理特征，生成表达目标场景的一组场景数据，得到不同粒度下表达目标场景的至少两组场景数据。的至少两组场景数据。的至少两组场景数据。

【技术实现步骤摘要】
场景数据的生成方法、装置、电子设备和存储介质


[0001]本公开涉及人工智能领域，具体涉及深度学习、计算机视觉、增强现实和虚拟现实等
，可应用于元宇宙等场景。

技术介绍

[0002]随着计算机技术和网络技术的发展，图像渲染技术及通过与神经网络整合来对图像渲染技术进行了改进的神经渲染（neural rendering）技术得到快速发展。图像渲染技术旨在根据三维模型生成二维图像，以给用户带来更接近于现实世界的视觉感受，在图像渲染之前，需要生成表示场景的三维模型的场景数据。通过加载该场景数据并进行图像渲染可以得到二维图像。

技术实现思路

[0003]本公开旨在提供一种场景数据的生成方法、装置、电子设备和存储介质，旨在使得场景数据的加载可以兼容不同处理能力的设备。
[0004]根据本公开的一个方面，提供了一种场景数据的生成方法，包括：对神经辐射场输出的体素网格数据进行不同粒度地至少两次采样，得到至少两个采样结果；其中，神经辐射场是根据多个视角下目标场景的多个图像构建的；根据至少两个采样结果中的每个采样结果提取纹理特征，得到与至少两个采样结果分别对应的至少两个纹理特征；以及根据每个采样结果和与每个采样结果对应的纹理特征，生成表达目标场景的一组场景数据，得到不同粒度下表达目标场景的至少两组场景数据。
[0005]根据本公开的另一个方面，提供了一种场景数据的生成装置，包括：采样模块，用于对神经辐射场输出的体素网格数据进行不同粒度地至少两次采样，得到至少两个采样结果；其中，神经辐射场是根据多个视角下目标场景的多个图像构建的；纹理特征提取模块，用于根据至少两个采样结果中的每个采样结果提取纹理特征，得到与至少两个采样结果分别对应的至少两个纹理特征；以及场景数据生成模块，用于根据每个采样结果和与每个采样结果对应的纹理特征，生成表达目标场景的一组场景数据，得到不同粒度下表达目标场景的至少两组场景数据。
[0006]根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的场景数据的生成方法。
[0007]根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的场景数据的生成方法。
[0008]根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的场景数据的生成方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开实施例的场景数据的生成方法和装置的应用场景示意图；图2是根据本公开实施例的场景数据的生成方法的流程示意图；图3是根据本公开实施例的场景数据的生成方法的实现原理图；图4是根据本公开实施例的生成表达目标场景的场景数据的原理示意图；图5是根据本公开实施例的得到目标场景数据的原理示意图；图6是根据本公开实施例的场景数据的生成和加载的应用示例图；图7是根据本公开实施例的场景数据的生成装置的结构框图；以及图8是用来实施本公开实施例的场景数据的生成方法的电子设备的框图。
具体实施方式
[0011]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0012]以下先对本公开所采用的专业术语进行如下解释。
[0013]神经辐射场，Neural Radiance Fields，简称为NeRF，是一种利用多目图像重建三维场景的技术。NeRF使用一组多目图，通过优化一个潜在连续的体素场景方程来得到一个完整的三维场景。
[0014]稀疏神经辐射网络，Sparse Neural Radiance Grid，简称为SNeRG，该网络的原理为结合神经辐射场（Neural Radiance Field，NeRF）和预计算与存储技术（预计算与存储技术可以称为烘焙（bake）技术），旨在将NeRF的连续神经体积场景表示烘焙到离散系数神经辐射网络，以用于实时渲染。该网络的实现方式为NeRF架构重塑与基于学习特征向量的稀疏体素网格（sparse voxel grid）表示相结合的方式。
[0015]体素，voxel，是体积元素（Volume Pixel）的简称，包含体素的立体可以通过立体渲染或者提取给定阈值轮廓的多边形等值面表现出来。通过体素，可以对3D空间进行网格划分，并赋予每个网格特征。体素可以是存储采样数据的体积点（volumetric points），存储包括材质、颜色、体积密度等。
[0016]体素网格，Voxel grids，是用固定大小的立方块作为最小单元，来表示三维物体的一种数据结构。
[0017]感兴趣区域，region of interest，简称为ROI，是在计算机视觉和图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出的需要处理的区域。
[0018]以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
[0019]图1是根据本公开实施例的场景数据的生成方法和装置的应用场景示意图。
[0020]如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、
台式计算机和服务器等等。
[0021]该电子设备110例如可以提供有人机交互界面。例如电子设备110可以响应于用户120的操作，向用户120展示目标场景的渲染图像130。其中，渲染图像130可以是根据目标场景的场景数据和目标视角渲染得到的。其中，目标视角可以响应于用户120的输入操作而获得，或者可以响应于用户120对人机交互界面的拖拽操作等确定，本公开对此不做限定。
[0022]在一实施例中，如图1所示，该应用场景100中还可以包括服务器140，该服务器140例如可以为支持电子设备110中客户端应用运行的后台管理服务器。电子设备110可以通过网络与服务器140通信连接，网络可以包括有线或无线通信链路。
[0023]例如，服务器140可以根据多个视角下目标场景的多个图像构建神经辐射场，并根据神经辐射场输出的体素网格数据预先生成场景数据，以供电子设备110加载。例如，服务器140可以响应于电子设备110发送的场景数据的加载请求，将生成的场景数据150发送给电子设备110，以作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种场景数据的生成方法，包括：对神经辐射场输出的体素网格数据进行不同粒度地至少两次采样，得到至少两个采样结果；其中，所述神经辐射场是根据多个视角下目标场景的多个图像构建的；根据所述至少两个采样结果中的每个采样结果提取纹理特征，得到与所述至少两个采样结果分别对应的至少两个纹理特征；以及根据所述每个采样结果和与所述每个采样结果对应的纹理特征，生成表达所述目标场景的一组场景数据，得到所述不同粒度下表达所述目标场景的至少两组场景数据。2.根据权利要求1所述的方法，还包括：根据与所述每个采样结果对应的分块参数对所述每个采样结果进行分块，得到多个体素块；以及从与所述每个采样结果对应的纹理特征中提取与所述多个体素块分别对应的多个子纹理特征。3.根据权利要求2所述的方法，其中：所述分块参数包括分块得到的体素块的个数；与粗粒度地采样得到的采样结果所对应的个数小于与细粒度地采样得到的采样结果所对应的个数。4.根据权利要求2所述的方法，其中，所述根据所述至少两个采样结果中的每个采样结果提取纹理特征，得到与所述至少两个采样结果分别对应的至少两个纹理特征包括：确定所述每个采样结果包括的体素网格数据中不透明度小于预定值的体素网格数据，作为与所述目标场景对应的目标网格数据；以及根据所述目标网格数据提取纹理特征，得到与所述每个采样结果对应的纹理特征，其中，所述体素网格数据包括体积密度，所述不透明度是根据所述体积密度确定的。5.根据权利要求2所述的方法，其中，所述根据所述每个采样结果和与所述每个采样结果对应的纹理特征，生成表达所述目标场景的场景数据包括：对于所述每个采样结果包括的每个体素块，根据与所述每个体素块对应的子纹理特征对所述每个体素块的体素网格数据进行调整，得到调整后体素网格数据；以及确定与所述每个体素块对应的场景数据包括所述调整后体素网格数据，其中，表达所述目标场景的一组场景数据包括：与所述多个体素块对应的多个场景数据。6.根据权利要求5所述的方法，其中，所述体素网格数据包括与视角相关的特征数据、颜色数据和体积密度；所述根据与所述每个体素块对应的子纹理特征对所述每个体素块的体素网格数据进行调整，得到调整后体素网格数据包括：根据与所述每个体素块对应的子纹理特征对所述每个体素块的颜色数据进行调整，得到所述调整后体素网格数据。7.根据权利要求5所述的方法，还包括：为所述每个采样结果包括的所述多个体素块分配索引值；以及根据所述多个体素块与所述目标场景的场景数据之间的对应关系，确定所述多个体素块的多个索引值与所述多个场景数据之间的映射关系。8.根据权利要求2所述的方法，还包括：
响应于接收到包括粒度信息的加载请求，确定所述粒度信息所指示的目标粒度下表达所述目标场景的一组场景数据，得到目标场景数据；以及发送所述目标场景数据。9.根据权利要求8所述的方法，其中，所述加载请求还包括视角信息；所述确定所述粒度信息所指示的目标粒度下表达所述目标场景的一组场景数据，得到目标场景数据包括：确定目标采样结果所包括的多个体素块中与所述视角信息匹配的体素块，作为目标体素块，其中，所述目标采样结果是在所述目标粒度下采样得到的；以及确定所述目标粒度下表达所述目标场景的一组场景数据中，与所述目标体素块对应的场景数据，作为所述目标场景数据。10.一种场景数据的生成装置，包括：采样模块，用于对神经辐射场输出的体素网格数据进行不同粒度地至少两次采样，得到至少两个采样结果；其中，所述神经辐射场是根据多个视角下目标场景的多个图像构建的；纹理特征提取模...

【专利技术属性】
技术研发人员：郑学兴，赵晨，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：