虚拟多视点视频生成方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术提供一种虚拟多视点视频生成方法、装置、电子设备和存储介质，涉及计算机视觉技术领域，所述方法包括：接收终端设备发送的稀疏视点图像；基于稀疏视点图像，确定终端设备的位姿信息；对稀疏视点图像进行光线采样，并基于终端设备的位姿信息，确定采样点的坐标信息；将采样点的坐标信息输入神经辐射场模型，输出虚拟新视点图像，并基于多张虚拟新视点图像，确定虚拟多视点视频，其中，神经辐射场模型用于进行稀疏视点图像的坐标信息至颜色空间的映射和虚拟新视点图像的生成。本发明专利技术可实现任意视角下虚拟新视点图像的生成，并合成虚拟多视点视频，且有效降低终端设备的计算量。且有效降低终端设备的计算量。且有效降低终端设备的计算量。

【技术实现步骤摘要】
虚拟多视点视频生成方法、装置、电子设备和存储介质


[0001]本专利技术涉及计算机视觉
，尤其涉及一种虚拟多视点视频生成方法、装置、电子设备和存储介质。

技术介绍

[0002]目前，3D显示以其可显示三维立体内容、可视角度广、传达信息直观、场景逼真等优势，广泛应用于教育、娱乐等领域，在提高学生学习效率和用户的视觉体验方面有显著成效。然而，由于3D内容制作技术的限制，当前3D显示所需要的片源制作困难。因此，如何快速生成3D内容，成为当前学术界和工业界亟需解决的问题。
[0003]现有技术中，3D内容的生成主要通过以下两种方式：
[0004](1)、通过3D软件建模，如Blender、Maya等软件，手工建模场景或任务的三维模型，填充对应的纹理等信息，但是上述3D软件需要专业3D建模人员操作完成，建模结果的好坏取决于建模人员的技术和经验；同时，建模过程较为复杂，生成的3D内容不够真实；
[0005](2)、通过多相机阵列光场采集，多路相机同时采集捕捉场景内容，并利用重建算法生成场景的3D模型，然而，对于多相机阵列光场采集技术，则需要使用多个摄像机同时摄取场景内容，导致数据处理量大，且对设备要求较高；同时，在实际场景搭建中，很难保证相机之间的夹角足够窄，从而导致由采集的图像还原出的三维立体视角不够连续。

技术实现思路

[0006]本专利技术提供一种虚拟多视点视频生成方法、装置、电子设备和存储介质，用以解决现有技术中建模专业要求高、数据处理量大的缺陷，实现任意视角下虚拟新视点图像的生成，并合成虚拟多视点视频，且有效降低终端设备的计算量。
[0007]本专利技术提供一种虚拟多视点视频生成方法，包括：
[0008]接收终端设备发送的稀疏视点图像；
[0009]基于所述稀疏视点图像，确定终端设备的位姿信息；
[0010]对所述稀疏视点图像进行光线采样，并基于所述终端设备的位姿信息，确定采样点的坐标信息；
[0011]将所述采样点的坐标信息输入神经辐射场模型，输出虚拟新视点图像，并基于多张所述虚拟新视点图像，确定虚拟多视点视频，其中，所述神经辐射场模型用于进行稀疏视点图像的坐标信息至颜色空间的映射和虚拟新视点图像的生成。
[0012]根据本专利技术提供的虚拟多视点视频生成方法，所述对所述稀疏视点图像进行光线采样，并基于所述终端设备的位姿信息，确定采样点的坐标信息，包括：
[0013]在所述稀疏视点图像的视锥范围内进行光线采样，结合利用COLMAP算法所确定的终端设备的位姿信息和内参，确定采样光线上每个采样点的坐标信息。
[0014]根据本专利技术提供的虚拟多视点视频生成方法，所述每个采样点的坐标信息，包括5D坐标，所述5D坐标包括3D位置坐标和2D视角方向坐标。
[0015]根据本专利技术提供的虚拟多视点视频生成方法，所述将所述采样点的坐标信息输入神经辐射场模型，输出虚拟新视点图像，并基于多张所述虚拟新视点图像，确定虚拟多视点视频，其中，所述神经辐射场模型用于进行稀疏视点图像的坐标信息至颜色空间的映射和虚拟新视点图像的生成，包括：
[0016]将编码的所述3D位置坐标输入神经辐射场模型的第一阶段网络，在确定每个采样点处的体密度值的同时输入编码的2D方向坐标，基于积分粗略预测，输出每个采样点处的第一RGB预测值，其中，所述神经辐射场模型的第一阶段网络中加入跳跃连接网络，所述跳跃连接网络用于实现第一阶段网络快速、稳定的收敛；
[0017]基于所述体密度值进行重采样，并将重采样前后采样点的坐标信息输入神经辐射场模型的第二阶段网络进行精细预测，输出每个采样点的第二RGB预测值，其中，所述体密度值用于确定重采样的采样点的位置信息；
[0018]根据光线积分，确定光线对应的所述稀疏视点图像平面坐标处的真实RGB值；
[0019]基于所述第一RGB预测值、第二RGB预测值和真实RGB值，确定神经辐射场模型的损失函数；
[0020]基于所述损失函数的反向传播，更新神经辐射场模型的网络参数，并确定虚拟新视点图像；
[0021]基于多张所述虚拟新视点图像，确定虚拟多视点视频。
[0022]根据本专利技术提供的虚拟多视点视频生成方法，所述终端设备的位姿信息包括终端设备的旋转向量和平移向量。
[0023]根据本专利技术提供的虚拟多视点视频生成方法，还包括：
[0024]将虚拟多视点视频进行编码，并将编码的虚拟多视点视频发送至终端设备，所述终端设备用于采集并编码所述稀疏视点图像，并将编码的所述稀疏视点图像进行发送；所述终端设备用于接收并解码所述虚拟多视点视频，并显示解码后的所述虚拟多视点视频。
[0025]本专利技术还提供一种虚拟多视点视频生成装置，包括：
[0026]接收模块，用于接收终端设备发送的稀疏视点图像；
[0027]确定模块，用于基于所述稀疏视点图像，确定终端设备的位姿信息；
[0028]采样模块，用于对所述稀疏视点图像进行光线采样，并基于所述终端设备的位姿信息，确定采样点的坐标信息；
[0029]输出模块，用于将所述采样点的坐标信息输入神经辐射场模型，输出虚拟新视点图像，并基于多张所述虚拟新视点图像，确定虚拟多视点视频，其中，所述神经辐射场模型用于进行稀疏视点图像的坐标信息至颜色空间的映射和虚拟新视点图像的生成。
[0030]根据本专利技术提供的虚拟多视点视频生成装置，还包括：
[0031]发送模块，用于将虚拟多视点视频进行编码，并将编码的虚拟多视点视频发送至终端设备。
[0032]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述虚拟多视点视频生成方法。
[0033]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述虚拟多视点视频生成方法。
[0034]本专利技术提供的虚拟多视点视频生成方法、装置、电子设备和存储介质，通过终端设备拍摄稀疏视点图像，采集方便、灵活，不受时间、地点限制，降低对采集设备的要求；同时，通过光线采样，结合终端设备的位姿信息确定采样点的坐标信息，并将采样点的坐标信息输入神经辐射场模型NeRF内，将坐标信息映射至颜色空间，进一步合成任意视角的虚拟新视点图像，并基于多张任意视角的虚拟新视点图像，合成虚拟多视点视频，仅需较少数量的稀疏视点图像，即可生成任意视角下的虚拟新视点图像，节省终端设备存储空间，提高虚拟新视点图像的鲁棒性，且进一步扩大使用范围。
附图说明
[0035]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0036]图1是本专利技术提供的虚拟多视点视频生成方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种虚拟多视点视频生成方法，其特征在于，包括：接收终端设备发送的稀疏视点图像；基于所述稀疏视点图像，确定终端设备的位姿信息；对所述稀疏视点图像进行光线采样，并基于所述终端设备的位姿信息，确定采样点的坐标信息；将所述采样点的坐标信息输入神经辐射场模型，输出虚拟新视点图像，并基于多张所述虚拟新视点图像，确定虚拟多视点视频，其中，所述神经辐射场模型用于进行稀疏视点图像的坐标信息至颜色空间的映射和虚拟新视点图像的生成。2.根据权利要求1所述的虚拟多视点视频生成方法，其特征在于，所述对所述稀疏视点图像进行光线采样，并基于所述终端设备的位姿信息，确定采样点的坐标信息，包括：在所述稀疏视点图像的视锥范围内进行光线采样，结合利用COLMAP算法所确定的终端设备的位姿信息和内参，确定采样光线上每个采样点的坐标信息。3.根据权利要求2所述的虚拟多视点视频生成方法，其特征在于，所述每个采样点的坐标信息，包括5D坐标，所述5D坐标包括3D位置坐标和2D视角方向坐标。4.根据权利要求3所述的虚拟多视点视频生成方法，其特征在于，所述将所述采样点的坐标信息输入神经辐射场模型，输出虚拟新视点图像，并基于多张所述虚拟新视点图像，确定虚拟多视点视频，其中，所述神经辐射场模型用于进行稀疏视点图像的坐标信息至颜色空间的映射和虚拟新视点图像的生成，包括：将编码的所述3D位置坐标输入神经辐射场模型的第一阶段网络，在确定每个采样点处的体密度值的同时输入编码的2D方向坐标，基于积分粗略预测，输出每个采样点处的第一RGB预测值，其中，所述神经辐射场模型的第一阶段网络中加入跳跃连接网络，所述跳跃连接网络用于实现第一阶段网络快速、稳定的收敛；基于所述体密度值进行重采样，并将重采样前后采样点的坐标信息输入神经辐射场模型的第二阶段网络进行精细预测，输出每个采样点的第二RGB预测值，其中，所述体密度值用于确定重采样的采样点的位置信息；根据光线积分，确定光线对应的所述稀疏视点图...

【专利技术属性】
技术研发人员：颜玢玢，聂炜欣，张梓源，史浩君，韩蒂，陈硕，桑新柱，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：