虚拟多视点视频生成方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种虚拟多视点视频生成方法、装置、电子设备和存储介质，涉及计算机视觉技术领域，所述方法包括：接收终端设备发送的稀疏视点图像；基于稀疏视点图像，确定终端设备的位姿信息；对稀疏视点图像进行光线采样，并基于终端设备的位姿信息，确定采样点的坐标信息；将采样点的坐标信息输入神经辐射场模型，输出虚拟新视点图像，并基于多张虚拟新视点图像，确定虚拟多视点视频，其中，神经辐射场模型用于进行稀疏视点图像的坐标信息至颜色空间的映射和虚拟新视点图像的生成。本发明专利技术可实现任意视角下虚拟新视点图像的生成，并合成虚拟多视点视频，且有效降低终端设备的计算量。且有效降低终端设备的计算量。且有效降低终端设备的计算量。

【技术实现步骤摘要】
虚拟多视点视频生成方法、装置、电子设备和存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种虚拟多视点视频生成方法、装置、电子设备和存储介质。

技术介绍

[0002]目前，3D显示以其可显示三维立体内容、可视角度广、传达信息直观、场景逼真等优势，广泛应用于教育、娱乐等领域，在提高学生学习效率和用户的视觉体验方面有显著成效。然而，由于3D内容制作技术的限制，当前3D显示所需要的片源制作困难。因此，如何快速生成3D内容，成为当前学术界和工业界亟需解决的问题。
[0003]现有技术中，3D内容的生成主要通过以下两种方式：
[0004](1)、通过3D软件建模，如Blender、Maya等软件，手工建模场景或任务的三维模型，填充对应的纹理等信息，但是上述3D软件需要专业3D建模人员操作完成，建模结果的好坏取决于建模人员的技术和经验；同时，建模过程较为复杂，生成的3D内容不够真实；
[0005](2)、通过多相机阵列光场采集，多路相机同时采集捕捉场景内容，并利用重建算法生成场景的3D模型，然而，对于多相机阵列光场采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟多视点视频生成方法，其特征在于，包括：接收终端设备发送的稀疏视点图像；基于所述稀疏视点图像，确定终端设备的位姿信息；对所述稀疏视点图像进行光线采样，并基于所述终端设备的位姿信息，确定采样点的坐标信息；将所述采样点的坐标信息输入神经辐射场模型，输出虚拟新视点图像，并基于多张所述虚拟新视点图像，确定虚拟多视点视频，其中，所述神经辐射场模型用于进行稀疏视点图像的坐标信息至颜色空间的映射和虚拟新视点图像的生成。2.根据权利要求1所述的虚拟多视点视频生成方法，其特征在于，所述对所述稀疏视点图像进行光线采样，并基于所述终端设备的位姿信息，确定采样点的坐标信息，包括：在所述稀疏视点图像的视锥范围内进行光线采样，结合利用COLMAP算法所确定的终端设备的位姿信息和内参，确定采样光线上每个采样点的坐标信息。3.根据权利要求2所述的虚拟多视点视频生成方法，其特征在于，所述每个采样点的坐标信息，包括5D坐标，所述5D坐标包括3D位置坐标和2D视角方向坐标。4.根据权利要求3所述的虚拟多视点视频生成方法，其特征在于，所述将所述采样点的坐标信息输入神经辐射场模型，输出虚拟新视点图像，并基于多张所述虚拟新视点图像，确定虚拟多视点视频，其中，所述神经辐射场模型用于进行稀疏视点图像的坐标信息至颜色空间的映射和虚拟新视点图像的生成，包括：将编码的所述3D位置坐标输入神经辐射场模型的第一阶段网络，在确定每个采样点处的体密度值的同时输入编码的2D方向坐标，基于积分粗略预测，输出每个采样点处的第一RGB预测值，其中，所述神经辐射场模型的第一阶段网络中加入跳跃连接网络，所述跳跃连接网络用于实现第一阶段网络快速、稳定的收敛；基于所述体密度值进行重采样，并将重采样前后采样点的坐标信息输入神经辐射场模型的第二阶段网络进行精细预测，输出每个采样点的第二RGB预测值，其中，所述体密度值用于确定重采样的采样点的位置信息；根据光线积分，确定光线对应的所述稀疏视点图...

【专利技术属性】
技术研发人员：颜玢玢，聂炜欣，张梓源，史浩君，韩蒂，陈硕，桑新柱，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：