自由视点合成的模型生成方法、图像绘制方法及电子设备技术

本公开涉及一种自由视点合成的模型生成方法、图像绘制方法及电子设备，该方法包括：获取相机在至少一个参考视点观察目标场景得到的至少一张第一图像，以及所述第一图像对应的相机参数；根据至少一张第一图像和对应的相机参数，得到多个训练样本；其中，一个训练样本对应一张第一图像的一个像素，训练样本的标签包括对应像素的颜色真值和与颜色无关的特征向量真值；通过所述多个训练样本、设定的损失函数、设定的第一绘制模型和第二绘制模型练第一预测模型，并基于训练后的第一预测模型得到第二预测模型；其中，所述第一预测模型包括体密度预测模型、颜色预测模型和特征预测模型，第二预测模型包括训练后的密度预测模型和训练后的颜色预测模型。后的颜色预测模型。后的颜色预测模型。

【技术实现步骤摘要】
自由视点合成的模型生成方法、图像绘制方法及电子设备


[0001]本专利技术涉及自由视点合成
，更具体地，涉及一种自由视点合成的模型生成方法、一种自由视点合成的图像绘制方法、及一种电子设备。

技术介绍

[0002]自由视点合成的图像绘制是指基于在参考视点观察目标场景的已知图像，绘制出在其他视点观察该目标场景的图像，以实现用户对于该目标场景的自由视点观察。
[0003]对于自由视点合成，现有技术提出了基于神经辐射场(Neural Radiance Fields，NeRF)的三维场景表示方法，该方法从已知视点的训练图像中估计出一个连续的神经网络场景表示，在此基础上，使用经典的体绘制技术绘制出其他视点的图像。尽管NeRF在学习高频的外观信息和精确的几何信息方面表现出了优异的性能，但其仍然具有局限性，最大的局限性就体现其存在几何
‑
颜色的歧义性(Shape
‑
Radiance Ambiguity)。几何
‑
颜色歧义性意味着即使预测的几何形状完全不正确，也可能存在一个辐射场分布，使模型能够完美地绘制训练图像，这意味着一个完全错误的几何估计搭配一个错误的辐射场分布，同样有可能很好地绘制出训练图像。这就导致训练后的模型虽然对训练图像的拟合非常好，但是在通过该模型绘制其他视点的图像时，将会出现严重的错误，即出现过拟合现象。可见，通过NeRF方法训练得到的模型在渲染新的视点上能力非常有限，因此，有必要提供一种进行自由视点合成的新的技术方案，以提高图像绘制的精确性。/>
技术实现思路

[0004]本公开实施例的一个目的是提供一种进行自由视点合成的新的技术方案，以提高自由视点绘制的精确性。
[0005]根据本公开的第一方面，提供了根据一实施例的自由视点合成的模型生成方法，其包括：
[0006]获取相机在至少一个参考视点观察目标场景得到的至少一张第一图像，以及所述第一图像对应的相机参数；其中，所述至少一个参考视点与所述至少一张第一图像一一对应；
[0007]根据所述至少一张第一图像和所述第一图像对应的相机参数，得到多个训练样本；其中，一个训练样本对应一张第一图像的一个像素，所述训练样本的数据包括对应像素的成像光线上多个采样点的数据，所述采样点的数据包括所述采样点的位置坐标和观察方向，所述训练样本的标签包括对应像素的颜色真值和特征向量真值，所述特征向量表示对应像素的与颜色无关的特征；
[0008]通过所述多个训练样本、设定的损失函数、设定的第一绘制模型和第二绘制模型练第一预测模型，并基于训练后的第一预测模型得到第二预测模型；其中，所述第一预测模型包括体密度预测模型、颜色预测模型和特征预测模型，所述体密度预测模型反映采样点的位置坐标与采样点的体密度间的映射关系，所述颜色预测模型反映采样点的第一位置信
息和采样点的观察方向与采样点的颜色间的映射关系，所述特征预测模型反映采样点的第二位置信息与采样点的所述特征向量间的映射关系，所述第一位置信息与所述第二位置信息为所述体密度预测模型的中间层输出的信息；所述第一绘制模型基于通过所述第一预测模型预测的、一条成像光线上多个采样点的体密度和颜色，得到对应像素的颜色预测值；所述第二绘制模型基于通过所述第一预测模型预测的、一条成像光线上多个采样点的体密度和特征向量，得到对应像素的特征向量预测值；所述损失函数包括反映像素的颜色预测值相对颜色真值的第一损失，以及反映像素的特征向量预测值相对特征向量真值的第二损失；所述第二预测模型包括训练后的密度预测模型和训练后的颜色预测模型。
[0009]可选地，所述与颜色无关的特征包括尺度不变转换特征。
[0010]可选地，所述体密度预测模型是基于循环神经网络的模型。
[0011]可选地，所述多个采样点为K个采样点，所述体密度预测模型包括串联连接的N个网络层，第k个采样点的位置坐标输入至第1个网络层，k取1至K的整数；
[0012]第i个网络层L
i
对于第k个采样点的输出out
ki
表示为：
[0013]out
ki
＝L
i
(out
ki
‑1)，其中，i取2至(N
‑
2)的整数，out
ki
‑1为第(i
‑
1)个网络层对于第k个采样点的输出，其中，out
ki
‑1作为第i个网络层L
i
的输入；
[0014]第j个网络层L
j
对于第k个采样点的输出out
kj
表示为：
[0015]out
kj
＝L
j
(out
kj
‑1+W
j
(out
k
‑
1j
‑1))，其中，j取(N
‑
1)和N，out
kj
‑1为第(j
‑
1)个网络层对于第k个采样点的输出，out
k
‑
1j
‑1为第(j
‑
1)个网络层对于第(k
‑
1)个采样点的输出，W
j
为全连接层。
[0016]可选地，所述网络层为全连接的ReLU层。
[0017]可选地，所述第一位置信息和所述第二位置信息分别由所述体密度预测模型的相邻两个中间层输出，所述第一位置信息由所述两个中间层的前一中间层输出，所述第二位置信息由所述两个中间层的后一中间层输出。
[0018]可选地，所述体密度预测模型包括8个串联连接的全连接的ReLU层，所述相邻两个中间层分别为第五层和第六层。
[0019]可选地，所述特征预测模型包括串联连接的M个全连接的ReLU层和一个作为输出层的全连接层，最末序位的ReLU层与所述全连接层连接。
[0020]根据本公开的第二方面，提供了根据一实施例的自由视点合成的图像绘制方法，其包括：
[0021]接收观察目标场景的目标视点；
[0022]根据所述目标视点，确定对应于所述目标视点的相机参数；
[0023]根据对应于所述目标视点的相机参数、第一绘制模型和通过本公开的第一方面所述的模型生成方法获得的第二预测模型，绘制并输出所述目标场景的对应于所述目标视点的第二图像；其中，所述第一绘制模型基于通过所述第二预测模型预测的、一条成像光线上多个采样点的体密度和颜色，得到构成第二图像的像素的颜色预测值，所述第二图像的像素的颜色预测值用于生成所述第二图像。
[0024]根据本公开的第三方面，提供了根据一实施例的电子设备，该电子设备包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于在所述计算机程序的控制下，执行根据本公开的第一方面所述的模型绘制方法或者根据本公开的第二方面所述的图
像绘制方法。
[0025]本公开实施例的一个有益效果在于，本公开实施例的模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自由视点合成的模型生成方法，包括：获取相机在至少一个参考视点观察目标场景得到的至少一张第一图像，以及所述第一图像对应的相机参数；其中，所述至少一个参考视点与所述至少一张第一图像一一对应；根据所述至少一张第一图像和所述第一图像对应的相机参数，得到多个训练样本；其中，一个训练样本对应一张第一图像的一个像素，所述训练样本的数据包括对应像素的成像光线上多个采样点的数据，所述采样点的数据包括所述采样点的位置坐标和观察方向，所述训练样本的标签包括对应像素的颜色真值和特征向量真值，所述特征向量表示对应像素的与颜色无关的特征；通过所述多个训练样本、设定的损失函数、设定的第一绘制模型和第二绘制模型训练第一预测模型，并基于训练后的第一预测模型得到第二预测模型；其中，所述第一预测模型包括体密度预测模型、颜色预测模型和特征预测模型，所述体密度预测模型反映采样点的位置坐标与采样点的体密度间的映射关系，所述颜色预测模型反映采样点的第一位置信息和采样点的观察方向与采样点的颜色间的映射关系，所述特征预测模型反映采样点的第二位置信息与采样点的所述特征向量间的映射关系，所述第一位置信息与所述第二位置信息为所述体密度预测模型的中间层输出的信息；所述第一绘制模型基于通过所述第一预测模型预测的、一条成像光线上多个采样点的体密度和颜色，得到对应像素的颜色预测值；所述第二绘制模型基于通过所述第一预测模型预测的、一条成像光线上多个采样点的体密度和特征向量，得到对应像素的特征向量预测值；所述损失函数包括反映像素的颜色预测值相对颜色真值的第一损失，以及反映像素的特征向量预测值相对特征向量真值的第二损失；所述第二预测模型包括训练后的密度预测模型和训练后的颜色预测模型。2.根据权利要求1所述的方法，其中，所述与颜色无关的特征包括尺度不变转换特征。3.根据权利要求1所述的方法，其中，所述体密度预测模型是基于循环神经网络的模型。4.根据权利要求3所述的方法，其中，所述多个采样点为K个采样点，所述体密度预测模型包括串联连接的N个网络层，第k个采样点的位置坐标输入至第1个网络层，k取1至K的整数；第i个网络层L
i
对于第k个采样点的输出out
ki
表示为：out
ki
＝L
i
(out
ki
‑1)，其中，i取2至(N
‑
2)的整数，out
ki
‑1为第(i
‑

【专利技术属性】
技术研发人员：韩少强，董立龙，杨光，
申请(专利权)人：北京微视威信息科技有限公司，
类型：发明
国别省市：