自由视点合成的实时绘制方法、电子设备及可读存储介质技术

本发明专利技术公开了一种自由视点合成的实时绘制方法、电子设备及可读存储介质，该方法包括：接收观察目标场景的目标视点；获取预存的目标场景在参考视点上的第一绘制数据；根据目标视点与参考视点间的相机坐标转换关系，将第一绘制数据转换为目标场景在目标视点上的第二绘制数据；绘制数据包括：表示在所对应视点的观察方向上的颜色变化量的N个基函数值，以及所对应视点的一组空间图层中每一空间图层的图像数据，空间图层的图像数据包括空间图层中每一空间点的图像数据，空间点的图像数据包括透明度、基础颜色值和与N个基函数一一对应的N个颜色系数；根据所述第二绘制数据绘制出对应于所述目标视点的目标图像；以及，输出所述目标图像。图像。图像。

【技术实现步骤摘要】
自由视点合成的实时绘制方法、电子设备及可读存储介质


[0001]本公开涉及自由视点合成
，更具体地，涉及一种自由视点合成的实时绘制方法、电子设备及计算机可读存储介质。

技术介绍

[0002]自由视点合成的图像绘制是指基于在参考视点观察目标场景的已知图像，绘制出在其他视点观察该目标场景的目标图像，以实现用户对于该目标场景的自由视点观察。例如，用户在互联网上对商品或者工艺品进行浏览时，相比仅对预先拍摄好的图像进行查看，更加倾向于交互式更强的观赏体验，这就可以利用自由视点合成技术，基于商家预先拍摄好的图像对商品的几何或者光场进行重建，进而为用户提供360度的交互式虚拟浏览体验。
[0003]对于自由视点合成，现有技术提出了基于神经辐射场(Neural Radiance Fields，NeRF)的三维场景表示方法，该方法从已知视点的图像中估计出一个连续的神经网络场景表示，在此基础上，使用经典的体绘制技术绘制出其他视点的图像。在该方法中，进行自由视点合成的设备在每次绘制新视点图像的每个像素时，需要通过神经辐射场模型分别对每一像素的成像光线上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自由视点合成的实时绘制方法，包括：接收观察目标场景的目标视点；获取预存的所述目标场景在参考视点上的第一绘制数据；根据所述目标视点与参考视点间的相机坐标转换关系，将所述第一绘制数据转换为所述目标场景在所述目标视点上的第二绘制数据；其中，绘制数据包括：所对应视点的N个基函数值，以及所对应视点的一组空间图层中每一空间图层的图像数据，所述基函数值表示在所对应视点的观察方向上的颜色变化量，所述一组空间图层沿着所对应视点的观察方向按不同深度值平行设置，所述空间图层的图像数据包括所述空间图层中每一空间点的图像数据，所述空间点的图像数据包括透明度、基础颜色值和N个颜色系数，所述N个颜色系数与N个基函数一一对应；根据所述第二绘制数据绘制出对应于所述目标视点的目标图像；输出所述目标图像。2.根据权利要求1所述的方法，其中，所述根据所述第二绘制数据绘制对应于所述目标视点的目标图像，包括：根据所述第二绘制数据，按照设定的合成操作绘制对应于所述目标视点的目标图像；其中，所述合成操作表示为：合成操作表示为：其中，C(w,h)代表目标图像的像素点(w,h)的颜色值，D代表所述目标视点的第二组空间图层的图层数目，a
(d,w,h)
代表所述第二组空间图层中第d个空间图层的空间点(w,h)的透明度，a
(i,w,h)
代表所述第二组空间图层中第i个空间图层的空间点(w,h)的透明度，c
(d,w,h)
代表所述第d个空间图层的空间点(w,h)的颜色值，第d个空间图层对应的深度值随着d的增大而减小；颜色值c
(d,w,h)
由目标视点的N个基函数、第d个空间图层的空间点(w,h)的基础颜色值和N个颜色系数确定。3.根据权利要求2所述的方法，其中，所述第d个空间图层的空间点(w,h)的颜色值c
(d,w,h)
表示为：其中，H
n

【专利技术属性】
技术研发人员：米杰，国计武，董立龙，
申请(专利权)人：北京微视威信息科技有限公司，
类型：发明
国别省市：