本申请涉及图像处理技术领域，特别涉及一种视角图像的生成方法、装置、电子设备及存储介质，其中，方法包括：建立目标三维场景的第一神经辐射场，获取第一神经辐射场中每个离散点在每个预设采样方向上的颜色值和透明度值，并进行双线性插值采样，得到多个新采样方向上的颜色值和透明度值，并将每个离散点在预设采样方向和新采样方向上的颜色值和透明度值输入预设的三维卷积神经网络进行离散点重建，得到第二神经辐射场；沿着目标视角下每个像素方向，将第二神经辐射场中离散点的颜色值和透明度值进行线性叠加，得到每个像素的最终颜色，基于每个像素的最终颜色生成目标视角下的图像。由此，解决了相机分辨率受限场景下的高清渲染重建等问题。渲染重建等问题。渲染重建等问题。
【技术实现步骤摘要】
视角图像的生成方法、装置、电子设备及存储介质
[0001]本申请涉及图像处理、图形学、计算机视觉和人工智能
，特别涉及一种视角图像的生成方法、装置、电子设备及存储介质。
技术介绍
[0002]NeRf（Neuralradiancefield，神经辐射场）渲染技术提出了一个通过输入视图的稀疏采样集及其采样位姿优化该场景的神经辐射场函数，进而通过对神经辐射场到不同角度的投影得到新的视角的渲染方法。
[0003]与传统的渲染方法相比，NeRf不需要考虑场景的几何结构，且能实现单点的精细渲染，从相机光线查询的坐标和角度来合成视图，使用经典体积渲染技术将输出的颜色和密度投射到图像中。
[0004]然而，为了获得精细的表达方法，现有的NeRf需要对场景提供精细的二维采样，即高分辨率的采样图像，且需要对多个二维采样进行复杂的训练。
技术实现思路
[0005]本申请提供一种视角图像的生成方法、装置、电子设备及存储介质，以解决相机分辨率受限场景下的高清渲染重建等问题。
[0006]本申请第一方面实施例提供一种视角图像的生成方法，包括以下步骤：采集不同预设视角下目标三维场景的多张二维图像，并根据所述多张二维图像建立所述目标三维场景的第一神经辐射场，其中，所述第一神经辐射场包括多个离散点；获取每个离散点在每个预设采样方向上的颜色值和透明度值，对所述每个离散点进行不同方向的双线性插值采样，得到所述每个离散点在多个新采样方向上的颜色值和透明度值，并将每个离散点在预设采样方向和新采样方向上的颜色值和透明度值输入预设的三维卷积神经网络进行离散点重建，得到第二神经辐射场；沿着目标视角下每个像素方向，将所述第二神经辐射场中离散点的颜色值和透明度值进行线性叠加，得到每个像素的最终颜色，基于所述每个像素的最终颜色生成所述目标视角下的图像。
[0007]进一步地，所述获取每个离散点在每个预设采样方向上的颜色值和透明度值，包括：将所述多个离散点输入至预设多层感知机中，输出每个离散点在每个预设采样方向上的颜色值和透明度值。
[0008]进一步地，在将所述多个离散点输入至预设多层感知机中之前，还包括：获取不同训练视角下训练三维场景的多张训练图像；根据所述不同训练视角计算训练图像中每个像素的角度，沿着所述角度对应的方向采样得到多个采样点，将所述多个采样点输入至预先构建的多层感知机中，得到每个采样点的颜色预测值和透明度预测值；根据每个采样点的颜色参考值和透明度参考值计算所述颜色预测值和所述透明度预测值对应的损失值，并根据所述损失值对所述预先构建的多层感知机进行训练，得到所述预设多层感知机。
[0009]进一步地，对所述每个离散点进行不同方向的双线性插值采样，得到所述每个离散点在多个新采样方向上的颜色值和透明度值，包括：在相同预设视角下，对所述第一神经辐射场中所有离散点进行双线性插值采样，并在遍历所有预设视角后，得到所述每个离散点在多个新采样方向上的颜色值和透明度值。
[0010]进一步地，所述沿着目标视角下每个像素方向，将所述第二神经辐射场中离散点的颜色值和透明度值进行线性叠加，得到每个像素的最终颜色，包括：获取目标观测位置和所述目标视角；根据所述目标观测位置和所述目标视角计算所述目标视角下每个像素方向和位置；以像素的位置为起点，沿着对应的像素方向从第二神经辐射场中采集离散点，并将采集的所有离散点的颜色值和透明度值进行线性叠加，得到对应像素的最终颜色。
[0011]本申请第二方面实施例提供一种视角图像的生成装置，包括：建立模块，用于采集不同预设视角下目标三维场景的多张二维图像，并根据所述多张二维图像建立所述目标三维场景的第一神经辐射场，其中，所述第一神经辐射场包括多个离散点；重建模块，用于获取每个离散点在每个预设采样方向上的颜色值和透明度值，对所述每个离散点进行不同角度的双线性插值采样，得到所述每个离散点在多个新采样方向上的颜色值和透明度值，并将每个离散点在预设采样方向和新采样方向上的颜色值和透明度值输入预设的三维卷积神经网络进行离散点重建，得到第二神经辐射场；叠加模块，用于沿着目标视角下每个像素方向，将所述第二神经辐射场中离散点的颜色值和透明度值进行线性叠加，得到每个像素的最终颜色，基于所述每个像素的最终颜色生成所述目标视角下的图像。
[0012]进一步地，所述重建模块进一步用于将所述多个离散点输入至预设多层感知机中，输出每个离散点在每个预设采样方向上的颜色值和透明度值。
[0013]进一步地，还包括：训练模块，用于在将所述多个离散点输入至预设多层感知机中之前，获取不同训练视角下训练三维场景的多张训练图像；根据所述不同训练视角计算训练图像中每个像素的角度，沿着所述角度对应的方向采样得到多个采样点；将所述多个采样点输入至预先构建的多层感知机中，得到每个采样点的颜色预测值和透明度预测值；根据每个采样点的颜色参考值和透明度参考值计算所述颜色预测值和所述透明度预测值对应的损失值，并根据所述损失值对所述预先构建的多层感知机进行训练，得到所述预设多层感知机。
[0014]进一步地，所述重建模块进一步用于在相同预设视角下，对所述第一神经辐射场中所有离散点进行双线性插值采样，并在遍历所有预设视角后，得到所述每个离散点在多个新采样方向上的颜色值和透明度值。
[0015]进一步地，所述叠加模块进一步用于获取目标观测位置和所述目标视角；根据所述目标观测位置和所述目标视角计算所述目标视角下每个像素方向和位置；以像素的位置为起点，沿着对应的像素方向从第二神经辐射场中采集离散点，并将采集的所有离散点的颜色值和透明度值进行线性叠加，得到对应像素的最终颜色。
[0016]本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的视角图像的生成方法。
[0017]本申请第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的视角图像的生成方法。
[0018]由此，本申请至少具有如下有益效果：根据多个低分辨率的采样对空间区域的描述，生成空间内任意视角的低分辨率的表达，随后利用超分辨的算法对该新视角进行重建，得到更精确的描述，从而基于低分辨率采样图像智能生成高分辨率视角，有效减少了图像渲染问题中的计算负载和渲染时延，提供了高效可靠的低功耗新视角图像智能生成方案。由此，解决了相机分辨率受限场景下的高清渲染重建等技术问题。
[0019]本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0020]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为根据本申请实施例提供的视角图像的生成方法的流程示意图；图2为根据本申请实施例提供的高分辨率新视角图像智能生成模型示意图；图3为根据本申请实施例提供的低分辨率场的采本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视角图像的生成方法，其特征在于，包括以下步骤：采集不同预设视角下目标三维场景的多张二维图像，并根据所述多张二维图像建立所述目标三维场景的第一神经辐射场，其中，所述第一神经辐射场包括多个离散点；获取每个离散点在每个预设采样方向上的颜色值和透明度值，对所述每个离散点进行不同方向的双线性插值采样，得到所述每个离散点在多个新采样方向上的颜色值和透明度值，并将每个离散点在预设采样方向和新采样方向上的颜色值和透明度值输入预设的三维卷积神经网络进行离散点重建，得到第二神经辐射场；以及沿着目标视角下每个像素方向，将所述第二神经辐射场中离散点的颜色值和透明度值进行线性叠加，得到每个像素的最终颜色，基于所述每个像素的最终颜色生成所述目标视角下的图像。2.根据权利要求1所述的方法，其特征在于，所述获取每个离散点在每个预设采样方向上的颜色值和透明度值，包括：将所述多个离散点输入至预设多层感知机中，输出每个离散点在每个预设采样方向上的颜色值和透明度值。3.根据权利要求2所述的方法，其特征在于，在将所述多个离散点输入至预设多层感知机中之前，还包括：获取不同训练视角下训练三维场景的多张训练图像；根据所述不同训练视角计算训练图像中每个像素的角度，沿着所述角度对应的方向采样得到多个采样点，将所述多个采样点输入至预先构建的多层感知机中，得到每个采样点的颜色预测值和透明度预测值；根据每个采样点的颜色参考值和透明度参考值计算所述颜色预测值和所述透明度预测值对应的损失值，并根据所述损失值对所述预先构建的多层感知机进行训练，得到所述预设多层感知机。4.根据权利要求1所述的方法，其特征在于，对所述每个离散点进行不同方向的双线性插值采样，得到所述每个离散点在多个新采样方向上的颜色值和透明度值，包括：在相同预设视角下，对所述第一神经辐射场中所有离散点进行双线性插值采样，并在遍历所有预设视角后，得到所述每个离散点在多个新采样方向上的颜色值和透明度值。5.根据权利要求1所述的方法，其特征在于，所述沿着目标视角下每个像素方向，将所述第二神经辐射场中离散点的颜色值和透明度值进行线性叠加，得到每个像素的最终颜色，包括：获取目标观测位置和所述目标视角；根据所述目标观测位置和所述目标视角计算所述目标视角下每个像素方向和位置；以像素的位置为起点，沿着对应的像素方向从第二神经辐射场中采集离散点，并将采集的所有离散点的颜色值和透明度值进行线性叠加，得到对应像素的最终颜色。6.一种视角图像的生成装置，其特征在于，包括：建立模块，用于采集不同预设视角下目标三维场景的多张二维图像，并根据所述...
【专利技术属性】
技术研发人员：于涛，韩雨琪，
申请(专利权)人：清华大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。