自由视点合成的实时绘制方法、电子设备及可读存储介质技术

本发明专利技术公开了一种自由视点合成的实时绘制方法、电子设备及可读存储介质，该方法包括：接收观察目标场景的目标视点；获取预存的目标场景在参考视点上的第一绘制数据；根据目标视点与参考视点间的相机坐标转换关系，将第一绘制数据转换为目标场景在目标视点上的第二绘制数据；绘制数据包括：表示在所对应视点的观察方向上的颜色变化量的N个基函数值，以及所对应视点的一组空间图层中每一空间图层的图像数据，空间图层的图像数据包括空间图层中每一空间点的图像数据，空间点的图像数据包括透明度、基础颜色值和与N个基函数一一对应的N个颜色系数；根据所述第二绘制数据绘制出对应于所述目标视点的目标图像；以及，输出所述目标图像。图像。图像。

【技术实现步骤摘要】
自由视点合成的实时绘制方法、电子设备及可读存储介质


[0001]本公开涉及自由视点合成
，更具体地，涉及一种自由视点合成的实时绘制方法、电子设备及计算机可读存储介质。

技术介绍

[0002]自由视点合成的图像绘制是指基于在参考视点观察目标场景的已知图像，绘制出在其他视点观察该目标场景的目标图像，以实现用户对于该目标场景的自由视点观察。例如，用户在互联网上对商品或者工艺品进行浏览时，相比仅对预先拍摄好的图像进行查看，更加倾向于交互式更强的观赏体验，这就可以利用自由视点合成技术，基于商家预先拍摄好的图像对商品的几何或者光场进行重建，进而为用户提供360度的交互式虚拟浏览体验。
[0003]对于自由视点合成，现有技术提出了基于神经辐射场(Neural Radiance Fields，NeRF)的三维场景表示方法，该方法从已知视点的图像中估计出一个连续的神经网络场景表示，在此基础上，使用经典的体绘制技术绘制出其他视点的图像。在该方法中，进行自由视点合成的设备在每次绘制新视点图像的每个像素时，需要通过神经辐射场模型分别对每一像素的成像光线上的多个空间位置点的几何外观信息进行预测，计算量非常之大，极大地影响了绘制效率，因此，该设备在接收到用户输入的目标视点之后，需要耗费较长时间才能输出对应目标视点的图像以供用户观察，远远不能实现基于用户输入的实时绘制，降低了交互体验，因此，有必要提供一种能够在响应速度和绘制精度上都表现优异的绘制方法。

技术实现思路

[0004]本公开实施例的一个目的是提供一种进行自由视点合成的新的技术方案，以在保证绘制精度的前提下提高自由视点绘制的响应速度，实现高精度的实时绘制。
[0005]根据本公开的第一方面，提供了根据一实施例的自由视点合成的实时绘制方法，其包括：
[0006]接收观察目标场景的目标视点；
[0007]获取预存的所述目标场景在参考视点上的第一绘制数据；
[0008]根据所述目标视点与参考视点间的相机坐标转换关系，将所述第一绘制数据转换为所述目标场景在所述目标视点上的第二绘制数据；其中，绘制数据包括：所对应视点的N个基函数值，以及所对应视点的一组空间图层中每一空间图层的图像数据，所述基函数值表示在所对应视点的观察方向上的颜色变化量，所述一组空间图层沿着所对应视点的观察方向按不同深度值平行设置，所述空间图层的图像数据包括所述空间图层中每一空间点的图像数据，所述空间点的图像数据包括透明度、基础颜色值和N个颜色系数，所述N个颜色系数与N个基函数一一对应；
[0009]根据所述第二绘制数据绘制出对应于所述目标视点的目标图像；
[0010]输出所述目标图像。
[0011]可选地，所述根据所述第二绘制数据绘制对应于所述目标视点的目标图像，包括：
[0012]根据所述第二绘制数据，按照设定的合成操作绘制对应于所述目标视点的目标图像；其中，所述合成操作表示为：
[0013][0014][0015]其中，C(w,h)代表目标图像的像素点(w,h)的颜色值，D代表所述目标视点的第二组空间图层的图层数目，a
(d,w,h)
代表所述第二组空间图层中第d个空间图层的空间点(w,h)的透明度，a
(i,w,h)
代表所述第二组空间图层中第i个空间图层的空间点(w,h)的透明度，c
(d,w,h)
代表所述第d个空间图层的空间点(w,h)的颜色值，第d个空间图层对应的深度值随着d的增大而减小；颜色值c
(d,w,h)
由目标视点的N个基函数、第d个空间图层的空间点(w,h)的基础颜色值和N个颜色系数确定。
[0016]可选地，所述第d个空间图层的空间点(w,h)的颜色值c
(d,w,h)
表示为：
[0017][0018]其中，H
n
代表所述目标视点的第n个基函数，代表所述第d个空间图层的空间点(w,h)的基础颜色值，代表所述第d个空间图层的空间点(w,h)的第n个颜色系数。
[0019]可选地，所述空间点的图像数据为与观察方向无关的数据。
[0020]可选地，所述第一绘制数据中每一空间点的图像数据通过预设的第一模型获得，所述第一绘制数据的N个基函数值通过预设的第二模型获得；在通过所述第一模型获得所述第一绘制数据中任一空间点的图像数据时，所述第一模型的输入信息包括该空间点的位置坐标和对应该空间点的第一场景特征；在通过所述第二模型获得所述第一绘制数据的N个基函数值时，所述第二模型的输入信息包括所述参考视点的观察方向和对应所述观察方向的第二场景特征。
[0021]可选地，第一绘制数据中任一空间点对应的第一场景特征，按照设定的融合方式融合多帧第一图像的对应于该空间点的第一图像特征得到；其中，所述多帧第一图像为沿多个视点观察目标场景得到的已知图像，所述多帧第一图像与所述多个视点一一对应，所述多个视点包括所述参考视点；
[0022]所述第二场景特征按照所述融合方式融合所述多帧第一图像的对应于所述参考视点的观察方向的第二图像特征得到。
[0023]可选地，所述第一模型和所述第二模型由训练样本集合中的训练样本训练得到，所述训练样本集合包括对应不同场景的训练样本。
[0024]可选地，所述第一模型为6层的多层感知机结构，和/或，所述第二模型为两层MLP网络结构。
[0025]根据本公开的第二方面，提供了根据一实施例的电子设备，该电子设备包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于在所述计算机程序的控制下，执行根据本公开的第一方面所述的实时绘制方法。
[0026]根据本公开的第三方面，提供了根据一实施例的计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现根据本公开的第一方面所述的实时绘制方法。
[0027]本公开实施例的一个有益效果在于，进行自由视点合成的电子设备会在本地预先存储目标场景在参考视点的第一绘制数据，在接收到用户输入的目标视点之后，基于目标视点与参考视点间的相机坐标转换关系，将第一绘制数据转换为对应于目标视点的第二绘制数据，并直接基于转换后的第二绘制数据绘制出对应于目标视点的目标图像。在此，由于电子设备在绘制目标图像时，是直接利用转换得到的第二绘制数据进行绘制，而无需在接收到用户输入的目标视点后，现调用模型预测对应于目标视点的各空间点的图像数据，因此，极大地减少了绘制计算量，能够有效提高绘制响应速度，实现自由视点合成的实时绘制。
[0028]另一方面，本公开实施例在进行实时绘制时，考虑了空间点的各向异性的颜色特性，即同一空间点被从不同方向观察时会展现出不同颜色的特性，在绘制数据中融入了体现该颜色特性的数据内容，即，该绘制数据包括N个与观察方向有关的基函数值，基函数反映观察方向与颜色变化量间的映射关系，该绘制数据还包括与空间图层中空间点一一对应的图像数据，任一空间点的图像数据不仅包括该空间点的透明度和基础本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自由视点合成的实时绘制方法，包括：接收观察目标场景的目标视点；获取预存的所述目标场景在参考视点上的第一绘制数据；根据所述目标视点与参考视点间的相机坐标转换关系，将所述第一绘制数据转换为所述目标场景在所述目标视点上的第二绘制数据；其中，绘制数据包括：所对应视点的N个基函数值，以及所对应视点的一组空间图层中每一空间图层的图像数据，所述基函数值表示在所对应视点的观察方向上的颜色变化量，所述一组空间图层沿着所对应视点的观察方向按不同深度值平行设置，所述空间图层的图像数据包括所述空间图层中每一空间点的图像数据，所述空间点的图像数据包括透明度、基础颜色值和N个颜色系数，所述N个颜色系数与N个基函数一一对应；根据所述第二绘制数据绘制出对应于所述目标视点的目标图像；输出所述目标图像。2.根据权利要求1所述的方法，其中，所述根据所述第二绘制数据绘制对应于所述目标视点的目标图像，包括：根据所述第二绘制数据，按照设定的合成操作绘制对应于所述目标视点的目标图像；其中，所述合成操作表示为：合成操作表示为：其中，C(w,h)代表目标图像的像素点(w,h)的颜色值，D代表所述目标视点的第二组空间图层的图层数目，a
(d,w,h)
代表所述第二组空间图层中第d个空间图层的空间点(w,h)的透明度，a
(i,w,h)
代表所述第二组空间图层中第i个空间图层的空间点(w,h)的透明度，c
(d,w,h)
代表所述第d个空间图层的空间点(w,h)的颜色值，第d个空间图层对应的深度值随着d的增大而减小；颜色值c
(d,w,h)
由目标视点的N个基函数、第d个空间图层的空间点(w,h)的基础颜色值和N个颜色系数确定。3.根据权利要求2所述的方法，其中，所述第d个空间图层的空间点(w,h)的颜色值c
(d,w,h)
表示为：其中，H
n

【专利技术属性】
技术研发人员：米杰，国计武，董立龙，
申请(专利权)人：北京微视威信息科技有限公司，
类型：发明
国别省市：