子弹时间视频生成方法、装置、电子设备及存储介质制造方法及图纸

技术编号:37707470 阅读:22 留言:0更新日期:2023-06-01 23:57
本公开关于一种子弹时间视频生成方法、装置、电子设备及存储介质,该方法包括获取多个真实相机中每个真实相机采集的原始像素图像和原始像素图像对应的第一深度图像;根据多个虚拟相机和多个真实相机各自对应的部署位置信息,从多个真实相机中,确定每个虚拟相机对应的参考相机;基于参考相机对应的第一深度图像和参考相机对应的原始像素图像,构建每个虚拟相机对应的目标像素图像;基于多个虚拟相机对应的目标像素图像,生成子弹时间视频。利用本公开实施例可以在有效降低现场设备部署成本、系统的复杂程度以及部署难度的基础上,提升子弹时间视频的流畅度和丰富度。升子弹时间视频的流畅度和丰富度。升子弹时间视频的流畅度和丰富度。

【技术实现步骤摘要】
子弹时间视频生成方法、装置、电子设备及存储介质


[0001]本公开涉及视频处理
,尤其涉及一种子弹时间视频生成方法、装置、电子设备及存储介质。

技术介绍

[0002]子弹时间视频是六自由度视频的一种特殊应用形态,它让目标场景呈现一个时间停滞或者慢放的状态,然后,可以呈现大范围持续移动视角的场景空间画面,达到呈现更多信息、以及更震撼效果的目的。
[0003]相关技术中,生成子弹时间视频需要使用多相机阵列对目标场景进行同步拍摄,首先获得目标场景在不同视角下的视频数据,然后,将镜头在目标场景中连续大范围移动过程中获得画面按一定的顺序排列起来从而形成子弹时间视频。但相关技术中,通过部署的真实相机采集的场景画面图像来生成子弹时间视频的方式,需要部署大量相机,导致整体系统的复杂程度、部署难度和成本都相对较高,若需要降低系统的复杂程度、部署难度和成本,就需要减少部署的相机,这又会影响生成的子弹时间视频的效果,导致视频流畅性较差等问题,因此,相关技术中无法有效平衡子弹时间视频生成过程中设备部署成本和生成子弹时间视频的流畅性等视频效果。

技术实现思路

[0004]本公开提供一种子弹时间视频生成方法、装置、电子设备及存储介质,以至少解决相关技术中无法有效平衡子弹时间视频生成过程中设备部署成本和生成子弹时间视频的流畅性等视频效果的技术问题。本公开的技术方案如下:
[0005]根据本公开实施例的第一方面,提供一种子弹时间视频生成方法,包括:
[0006]获取多个真实相机中每个真实相机采集的原始像素图像和所述原始像素图像对应的第一深度图像;
[0007]根据多个虚拟相机和所述多个真实相机各自对应的部署位置信息,从所述多个真实相机中,确定每个虚拟相机对应的参考相机;
[0008]基于所述参考相机对应的所述第一深度图像和所述参考相机对应的所述原始像素图像,构建所述每个虚拟相机对应的目标像素图像;
[0009]基于所述多个虚拟相机对应的所述目标像素图像,生成子弹时间视频。
[0010]在一个可选的实施例中,所述基于所述参考相机对应的所述第一深度图像和所述参考相机对应的所述原始像素图像,构建所述每个虚拟相机对应的目标像素图像包括:
[0011]根据所述参考相机对应的所述第一深度图像,构建所述每个虚拟相机对应的第二深度图像;
[0012]根据所述第二深度图像和所述第二深度图像对应的所述原始像素图像,构建所述每个虚拟相机对应的参考像素图像;
[0013]对所述每个虚拟相机对应的所述参考像素图像进行融合处理,得到所述每个虚拟
相机对应的所述目标像素图像。
[0014]在一个可选的实施例中,所述根据所述参考相机对应的所述第一深度图像,构建所述每个虚拟相机对应的第二深度图像包括:
[0015]根据所述第一深度图像中每个像素点,在所述第一深度图像中的第一二维像素坐标和所述每个像素点的深度数据,确定所述每个像素点在对应的参考相机坐标系中的第一三维坐标;
[0016]根据所述每个像素点对应的所述第一三维坐标,确定所述每个像素点在对应的虚拟相机坐标系中的第二三维坐标;
[0017]基于所述每个像素点对应的所述第二三维坐标和所述每个像素点对应的位置向量长度,构建所述每个虚拟相机对应的第二深度图像,所述每个像素点对应的位置向量长度为所述每个像素点在对应的虚拟相机坐标系中与所述对应的虚拟相机坐标系的原点间的向量长度。
[0018]在一个可选的实施例中,所述根据所述第二深度图像和所述第二深度图像对应的所述原始像素图像,构建所述每个虚拟相机对应的参考像素图像包括:
[0019]根据所述参考像素图像中每个像素点,在所述参考像素图像中的二维像素坐标和所述每个像素点在所述第二深度图像中的深度数据,确定所述每个像素点在对应的虚拟相机坐标系中的第三三维坐标;
[0020]根据所述每个像素点对应的所述第三三维坐标,确定所述每个像素点在对应的参考相机坐标系中的第四三维坐标;
[0021]将所述每个像素点对应的所述第四三维坐标,映射到对应的参考相机的成像平面上,得到所述每个像素点在像素坐标系中的第二二维像素坐标;
[0022]基于所述每个像素点对应的所述第二二维像素坐标,从对应的所述原始像素图像中,提取所述每个像素点对应的像素数据;
[0023]根据所述每个像素点对应的像素数据,生成所述每个虚拟相机对应的所述参考像素图像。
[0024]在一个可选的实施例中,所述每个虚拟相机对应的所述参考像素图像包括多个图像;所述对所述每个虚拟相机对应的所述参考像素图像进行融合处理,得到所述每个虚拟相机对应的所述目标像素图像包括:
[0025]获取所述多个图像对应的预设权重信息;
[0026]基于所述预设权重信息对所述多个图像进行加权融合,得到所述每个虚拟相机对应的所述目标像素图像。
[0027]在一个可选的实施例中,所述方法应用于云服务器;所述获取多个真实相机中每个真实相机采集的原始像素图像包括:
[0028]接收现场服务器发送的所述原始像素图像。
[0029]在一个可选的实施例中,所述原始像素图像对应的第一深度图像采用下述方式获取:
[0030]在接收到所述现场服务器发送的子弹时间视频生成请求的情况下,根据所述原始像素图像,生成所述第一深度图像。
[0031]在一个可选的实施例中,所述根据多个虚拟相机和所述多个真实相机各自对应的
部署位置信息,从所述多个真实相机中,确定每个虚拟相机对应的参考相机包括:
[0032]根据多个虚拟相机和所述多个真实相机各自对应的部署位置信息,将所述多个真实相机中所述每个虚拟相机的相邻真实相机,作为所述每个虚拟相机对应的参考相机。
[0033]在一个可选的实施例中,所述基于所述多个虚拟相机对应的所述目标像素图像,生成子弹时间视频包括:
[0034]基于预设虚拟运镜模板,对所述多个虚拟相机对应的所述目标像素图像进行压缩处理,得到所述子弹时间视频;
[0035]其中,所述预设虚拟运镜模板表征所述多个虚拟相机对应的所述目标像素图像的压缩顺序。
[0036]根据本公开实施例的第二方面,提供一种子弹时间视频生成装置,包括:
[0037]图像获取模块,被配置为执行获取多个真实相机中每个真实相机采集的原始像素图像和所述原始像素图像对应的第一深度图像;
[0038]参考相机确定模块,被配置为执行根据多个虚拟相机和所述多个真实相机各自对应的部署位置信息,从所述多个真实相机中,确定每个虚拟相机对应的参考相机;
[0039]目标像素图像构建模块,被配置为执行基于所述参考相机对应的所述第一深度图像和所述参考相机对应的所述原始像素图像,构建所述每个虚拟相机对应的目标像素图像;
[0040]子弹时间视频生成模块,被配置为执行基于所述多个虚拟相机对应的所述目标像素图像,生成子弹时间视频。
[0041]在一本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种子弹时间视频生成方法,其特征在于,包括:获取多个真实相机中每个真实相机采集的原始像素图像和所述原始像素图像对应的第一深度图像;根据多个虚拟相机和所述多个真实相机各自对应的部署位置信息,从所述多个真实相机中,确定每个虚拟相机对应的参考相机;基于所述参考相机对应的所述第一深度图像和所述参考相机对应的所述原始像素图像,构建所述每个虚拟相机对应的目标像素图像;基于所述多个虚拟相机对应的所述目标像素图像,生成子弹时间视频。2.根据权利要求1所述的子弹时间视频生成方法,其特征在于,所述基于所述参考相机对应的所述第一深度图像和所述参考相机对应的所述原始像素图像,构建所述每个虚拟相机对应的目标像素图像包括:根据所述参考相机对应的所述第一深度图像,构建所述每个虚拟相机对应的第二深度图像;根据所述第二深度图像和所述第二深度图像对应的所述原始像素图像,构建所述每个虚拟相机对应的参考像素图像;对所述每个虚拟相机对应的所述参考像素图像进行融合处理,得到所述每个虚拟相机对应的所述目标像素图像。3.根据权利要求2所述的子弹时间视频生成方法,其特征在于,所述根据所述参考相机对应的所述第一深度图像,构建所述每个虚拟相机对应的第二深度图像包括:根据所述第一深度图像中每个像素点,在所述第一深度图像中的第一二维像素坐标和所述每个像素点的深度数据,确定所述每个像素点在对应的参考相机坐标系中的第一三维坐标;根据所述每个像素点对应的所述第一三维坐标,确定所述每个像素点在对应的虚拟相机坐标系中的第二三维坐标;基于所述每个像素点对应的所述第二三维坐标和所述每个像素点对应的位置向量长度,构建所述每个虚拟相机对应的第二深度图像,所述每个像素点对应的位置向量长度为所述每个像素点在对应的虚拟相机坐标系中与所述对应的虚拟相机坐标系的原点间的向量长度。4.根据权利要求2所述的子弹时间视频生成方法,其特征在于,所述根据所述第二深度图像和所述第二深度图像对应的所述原始像素图像,构建所述每个虚拟相机对应的参考像素图像包括:根据所述参考像素图像中每个像素点,在所述参考像素图像中的二维像素坐标和所述每个像素点在所述第二深度图像中的深度数据,确定所述每个像素点在对应的虚拟相机坐标系中的第三三维坐标;根据所述每个像素点对应的所述第三三维坐标,确定所述每个像素点在对应的参考相机坐标系中的第四三维坐标;将所述每个像素点对应的所述第四三维坐标,映射到对应的参考相机的成像平面上,得到所述每个像素点在像素坐标系中的第二二维像素坐标;基于所述每个像素点对应的所述第二二维像素坐标,从对应的所述原始像素图像中,
提取所述每个像素点对应的像素数据;根据所述每个像素点对应的像素数据,生成所述每个虚拟相机对应的所述参考像...

【专利技术属性】
技术研发人员:凌康盛骁杰杨成熙江云鹏
申请(专利权)人:北京达佳互联信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1