视角图像的处理方法、装置、电子设备及计算机存储介质制造方法及图纸

本发明专利技术实施例提供了一种视角图像的处理方法、装置、电子设备及计算机可读存储介质，涉及图像处理领域，该方法包括：确定原始视角图像的相机位姿参数；基于相机位姿参数确定隐藏场景分布，并从隐藏场景分布中进行采样，得到分布采样点；基于相机位姿参数和分布采样点确定背景神经辐射场的第一体密度和第一颜色渲染结果；基于相机位姿参数和时间步确定动态神经辐射场的第二体密度和第二颜色渲染结果；基于相机位姿参数确定原始视角图像中每条光线的第一透射权重；基于第一透射权重对第一体密度、第一颜色渲染结果、第二体密度和第二颜色渲染结果进行渲染，得到第一目标视角图像。本发明专利技术实施例生成高质量的新视角合成图像。发明专利技术实施例生成高质量的新视角合成图像。发明专利技术实施例生成高质量的新视角合成图像。

【技术实现步骤摘要】
视角图像的处理方法、装置、电子设备及计算机存储介质


[0001]本专利技术涉及图像处理
，特别是涉及一种视角图像的处理方法、一种视角图像的处理装置、一种电子设备和一种计算机可读存储介质。

技术介绍

[0002]动态场景下的新视角合成指在给定一个或多个摄像机捕捉的视频片段时，学习恢复任意未在视频中出现的新视点图像。它能够在有限视图输入的条件下生成无限的视角图像，并且有着广泛的应用空间。例如制造电影、游戏中切换视角的特效，在AR(Augmented Reality，增强现实)、VR(Virtual Reality，虚拟现实)世界中渲染图像，或是辅助摄像头成像，实现机器人、自动驾驶感知和导航交互等。
[0003]近些年来的动态场景新视角合成方法都从神经辐射场出发进行改进。基于语义分割网络的辐射场方法可以用语义信息监督神经辐射场学习，但是受限于语义分割网络本身的表现，因此只适用于与分割网络相同的特定领域。基于时序信息的辐射场方法用一个或多个神经辐射场学习视频序列中的动态信息，但是只关注于相邻连续几帧之间的特征，无法捕捉整个场景的持续信息。
[0004]现有方法中，对于包含单个对象的场景，例如室内的乐高场景，视角的切换会导致相机平面上的2D场景投影发生巨大变化。与这些场景不同，现实世界的动态场景通常包含运动的前景和静态背景。这些静态背景(例如街区，建筑物等)距离相机镜头很远。现有方法只关注于视频帧序列间的时序信息，导致背景处的纹理恢复效果较差。
[0005]此外，现有的方法仅通过融合RGB空间中的渲染结果来判断物体间的遮挡关系，从而在判断静态背景和动态物体之间的遮挡关系时表现出不理想的性能。

技术实现思路

[0006]鉴于上述问题，提出了本专利技术实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视角图像的处理方法、一种视角图像的处理装置、一种电子设备和一种计算机可读存储介质。
[0007]为了解决上述问题，本专利技术实施例公开了一种视角图像的处理方法，所述方法包括：
[0008]确定原始视角图像的相机位姿参数；
[0009]基于所述相机位姿参数确定隐藏场景分布，并从所述隐藏场景分布中进行采样，得到分布采样点；
[0010]基于所述相机位姿参数和所述分布采样点确定背景神经辐射场的第一体密度和第一颜色渲染结果；
[0011]基于所述相机位姿参数和时间步确定动态神经辐射场的第二体密度和第二颜色渲染结果；
[0012]基于所述相机位姿参数确定所述原始视角图像中每条光线的第一透射权重；
[0013]基于所述第一透射权重对所述第一体密度、所述第一颜色渲染结果、所述第二体密度和所述第二颜色渲染结果进行渲染，得到第一目标视角图像。
[0014]在一个或多个实施例中，所述基于所述相机位姿参数确定隐藏场景分布，并从所述隐藏场景分布中进行采样，得到分布采样点，包括：
[0015]通过分布编码器采用多层感知机对所述相机位姿参数进行学习，得到隐藏场景分布；
[0016]从所述隐藏场景分布中进行采样，得到分布采样点。
[0017]在一个或多个实施例中，所述相机位姿参数包括三维位置和三维角度；
[0018]所述基于所述相机位姿参数和所述分布采样点确定背景神经辐射场的第一体密度和第一颜色渲染结果，包括：
[0019]将所述分布采样点和所述三维位置经过多层感知机缩放至第一注意力空间，以及，将所述分布采样点和所述三维角度经过多层感知机缩放至第二注意力空间；
[0020]以所述分布采样点为键值和所述三维位置为查询计算所述第一注意力空间的注意力值，得到第一注意力值，以及，以所述分布采样点为键值和所述三维角度为查询计算所述第二注意力空间的注意力值，得到第二注意力值；
[0021]将所述第一注意力值和所述三维位置进行相加，得到所述背景神经辐射场的第一体密度，以及，将所述第二注意力值和所述三维角度进行相加，得到所述背景神经辐射场的第一颜色渲染结果。
[0022]在一个或多个实施例中，所述相机位姿参数和时间步还用于确定所述动态神经辐射场的光流；
[0023]所述方法还包括：
[0024]采用所述光流对所述动态神经辐射场进行更新，得到更新后的动态神经辐射场。
[0025]在一个或多个实施例中，所述基于所述相机位姿参数确定所述原始视角图像中每条光线的第一透射权重，包括：
[0026]基于所述相机位姿参数计算所述原始视角图像中每条光线的每个采样点的遮挡权重；
[0027]基于每条光线的每个采样点的遮挡权重计算所述每条光线的第一透射权重。
[0028]在一个或多个实施例中，还包括：
[0029]响应于相机位姿调整指令，基于调整后相机位姿参数和所述相机位姿参数确定出参数偏移量；
[0030]基于所述参数偏移量确定调整后的每条光线的第二透射权重、背景神经辐射场的第三体密度和第三颜色渲染结果，以及动态神经辐射场的第四体密度和第四颜色渲染结果；
[0031]基于所述第二透射权重对所述第三体密度、所述第三颜色渲染结果、所述第四体密度和所述第四颜色渲染结果进行渲染，得到相机位姿调整后的第二目标视角图像。
[0032]相应的，本专利技术实施例还公开了一种视角图像的处理装置，所述装置包括：
[0033]第一确定模块，用于确定原始视角图像的相机位姿参数；
[0034]第一处理模块，用于基于所述相机位姿参数确定隐藏场景分布，并从所述隐藏场景分布中进行采样，得到分布采样点；
[0035]第二处理模块，用于基于所述相机位姿参数和所述分布采样点确定背景神经辐射场的第一体密度和第一颜色渲染结果；
[0036]第三处理模块，用于基于所述相机位姿参数和时间步确定动态神经辐射场的第二体密度和第二颜色渲染结果；
[0037]第四处理模块，用于基于所述相机位姿参数确定所述原始视角图像中每条光线的第一透射权重；
[0038]渲染模块，用于基于所述第一透射权重对所述第一体密度、所述第一颜色渲染结果、所述第二体密度和所述第二颜色渲染结果进行渲染，得到第一目标视角图像。
[0039]在一个或多个实施例中，所述第一处理模块，具体用于：
[0040]通过分布编码器采用多层感知机对所述相机位姿参数进行学习，得到隐藏场景分布；
[0041]从所述隐藏场景分布中进行采样，得到分布采样点。
[0042]在一个或多个实施例中，所述相机位姿参数包括三维位置和三维角度；
[0043]所述第二处理模块，具体用于：
[0044]将所述分布采样点和所述三维位置经过多层感知机缩放至第一注意力空间，以及，将所述分布采样点和所述三维角度经过多层感知机缩放至第二注意力空间；
[0045]以所述分布采样点为键值和所述三维位置为查询计算所述第一注意力空间的注意力值，得到第一注意力值，以及，以所述分布采样点为键值和所述三维角度为查询计算所述第二注本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视角图像的处理方法，其特征在于，所述方法包括：确定原始视角图像的相机位姿参数；基于所述相机位姿参数确定隐藏场景分布，并从所述隐藏场景分布中进行采样，得到分布采样点；基于所述相机位姿参数和所述分布采样点确定背景神经辐射场的第一体密度和第一颜色渲染结果；基于所述相机位姿参数和时间步确定动态神经辐射场的第二体密度和第二颜色渲染结果；基于所述相机位姿参数确定所述原始视角图像中每条光线的第一透射权重；基于所述第一透射权重对所述第一体密度、所述第一颜色渲染结果、所述第二体密度和所述第二颜色渲染结果进行渲染，得到第一目标视角图像。2.根据权利要求1所述的视角图像的处理方法，其特征在于，所述基于所述相机位姿参数确定隐藏场景分布，并从所述隐藏场景分布中进行采样，得到分布采样点，包括：通过分布编码器采用多层感知机对所述相机位姿参数进行学习，得到隐藏场景分布；从所述隐藏场景分布中进行采样，得到分布采样点。3.根据权利要求1所述的视角图像的处理方法，其特征在于，所述相机位姿参数包括三维位置和三维角度；所述基于所述相机位姿参数和所述分布采样点确定背景神经辐射场的第一体密度和第一颜色渲染结果，包括：将所述分布采样点和所述三维位置经过多层感知机缩放至第一注意力空间，以及，将所述分布采样点和所述三维角度经过多层感知机缩放至第二注意力空间；以所述分布采样点为键值和所述三维位置为查询计算所述第一注意力空间的注意力值，得到第一注意力值，以及，以所述分布采样点为键值和所述三维角度为查询计算所述第二注意力空间的注意力值，得到第二注意力值；将所述第一注意力值和所述三维位置进行相加，得到所述背景神经辐射场的第一体密度，以及，将所述第二注意力值和所述三维角度进行相加，得到所述背景神经辐射场的第一颜色渲染结果。4.根据权利要求1所述的视角图像的处理方法，其特征在于，所述相机位姿参数和时间步还用于确定所述动态神经辐射场的光流；所述方法还包括：采用所述光流对所述动态神经辐射场进行更新，得到更新后的动态神经辐射场。5.根据权利要求1所述的视角图像的处理方法，其特征在于，所述基于所述相机位姿参数确定所述原始视角图像中每条光线的第一透射权重，包括：基于所述相机位姿参数计算所述原始视角图像中每条光线的每个采样点的遮挡权重；基于每条光线的每个采样点的遮挡权重计算所述每条光线的第一透射权重。6.根据权利要求1所述的视角图像的处理方法，其特征在于，还包括：响应于相机位姿调整指令，基于调整后相机位姿参数和所述相机位姿参数确定出参数偏移量；基于所述参数偏移量确定调整后的每条光线的第二透射权重、背景神经辐射场的第三
体密度和第三颜色渲染结果，以及动态神经辐射场的第四体密度和第四颜色渲染结果；基于所述第二透射权重对所述第三体密度、所述第三颜色渲染结果、所述第四体密度和所述第四颜色渲染结果进行渲染，得到相机位姿调整后的第二目标视角图像。7.一种视角图像的处理装置，其特征在于，所述装置包括：第一确定模块，用于确定原始视角图像的相机位姿参数；第一处理模块，用于基于所述相机位姿参数确定隐藏场景分布，并从所述隐藏场景分布中进行采样，得到分布采样点；第二处...

【专利技术属性】
技术研发人员：张博宇，徐文博，朱政，黄冠，
申请(专利权)人：北京鉴智科技有限公司，
类型：发明
国别省市：