基于虚拟现实的视频生成方法、装置、设备及介质制造方法及图纸

本申请公开了一种基于虚拟现实的视频生成方法、装置、设备及介质，涉及虚拟现实领域。该方法包括：从视频帧序列中获取目标视频帧，视频帧序列是由现实摄像机采集目标场景得到的，目标场景包括现实前景和虚拟背景，虚拟背景显示在现实环境中的物理屏幕上；获取目标视频帧的现实前景深度图和虚拟背景深度图；融合现实前景深度图和虚拟背景深度图，得到融合深度图；根据融合深度图调整目标视频帧的显示参数，生成目标视频帧的景深效果图；根基于所述目标视频帧的景深效果图，生成具有景深效果的目标视频。本申请得到的目标视频的具有较好景深效果。深效果。深效果。

【技术实现步骤摘要】
基于虚拟现实的视频生成方法、装置、设备及介质


[0001]本申请涉及虚拟现实领域，特别涉及一种基于虚拟现实的视频生成方法、装置、设备及介质。

技术介绍

[0002]虚拟制片指计算机辅助制片和可视化电影制作方法。虚拟制片包括多种方式，比如，可视化(visualization)、表演捕捉(performance capture)、混合虚拟制作(hybrid virtual production)、实时LED墙镜头内虚拟制作(live LED wall in
‑
camera)等。
[0003]相关技术会在拍摄时，在演员、道具等现实前景的后方设置一面LED(Light Emitting Diode，发光二极管)墙，并在LED墙上投影实时的虚拟背景。现实摄像机会同时拍摄演员、道具、LED墙上的显示内容，并将拍摄到的内容输入到计算机中。计算机实时输出现实摄像机的拍摄内容。
[0004]但是现实摄像机采集到的每一帧图像的显示效果差，进而导致现实摄像机拍摄的视频效果较差。

技术实现思路

[0005]本申请实施例提供了一种基于虚拟现实的视频生成方法、装置、设备及介质，该方法会为虚拟背景更新深度信息，使得得到的视频更加自然，显示效果较好，技术方案如下：
[0006]根据本申请的一个方面，提供了一种基于虚拟现实的视频生成方法，该方法包括：
[0007]从视频帧序列中获取目标视频帧，所述视频帧序列是由现实摄像机采集目标场景得到的，所述目标场景包括现实前景和虚拟背景，所述虚拟背景显示在现实环境中的物理屏幕上；
[0008]获取所述目标视频帧的现实前景深度图和虚拟背景深度图，所述现实前景深度图包括所述现实前景到所述现实摄像机的深度信息，所述虚拟背景深度图包括被映射到所述现实环境后的所述虚拟背景到所述现实摄像机的深度信息；
[0009]融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，所述融合深度图包括所述目标场景内的各个参考点在所述现实环境中到所述现实摄像机的深度信息；
[0010]根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图；
[0011]基于所述目标视频帧的所述景深效果图，生成具有景深效果的目标视频。
[0012]根据本申请的另一个方面，提供了一种基于虚拟现实的视频生成装置，该装置包括：
[0013]获取模块，用于从视频帧序列中获取目标视频帧，所述视频帧序列是由现实摄像机采集目标场景得到的，所述目标场景包括现实前景和虚拟背景，所述虚拟背景显示在现实环境中的物理屏幕上；
[0014]所述获取模块，还用于获取所述目标视频帧的现实前景深度图和虚拟背景深度
图，所述现实前景深度图包括所述现实前景到所述现实摄像机的深度信息，所述虚拟背景深度图包括被映射到所述现实环境后的所述虚拟背景到所述现实摄像机的深度信息；
[0015]融合模块，用于融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，所述融合深度图包括所述目标场景内的各个参考点在所述现实环境中到所述现实摄像机的深度信息；
[0016]更新模块，用于根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图；
[0017]所述更新模块，还用于基于所述目标视频帧的所述景深效果图，生成具有景深效果的目标视频。
[0018]根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上方面的基于虚拟现实的视频生成方法。
[0019]根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条程序代码，程序代码由处理器加载并执行以实现如上方面的基于虚拟现实的视频生成方法。
[0020]根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面的基于虚拟现实的视频生成方法。
[0021]本申请实施例提供的技术方案带来的有益效果至少包括：
[0022]现实摄像机拍摄目标场景，生成视频帧序列。再根据视频帧序列获取目标视频帧，并对目标视频帧的深度信息进行更新，使得目标视频帧包括的深度信息更加准确，并基于目标视频帧生成具有景深效果的目标视频。由于虚拟背景的深度信息更加准确，使得虚拟背景和现实前景结合组成的视频更加自然，显示效果较好。
附图说明
[0023]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0024]图1示出了本申请一个示例性实施例提供的计算机系统的示意图；
[0025]图2示出了本申请一个示例性实施例提供的基于虚拟现实的景深效果图生成方法的示意图；
[0026]图3示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的流程示意图；
[0027]图4示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的界面示意图；
[0028]图5示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的界面
示意图；
[0029]图6示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的界面示意图；
[0030]图7示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的界面示意图；
[0031]图8示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的流程示意图；
[0032]图9示出了本申请一个示例性实施例提供的计算深度信息的示意图；
[0033]图10示出了本申请一个示例性实施例提供的基于虚拟现实的景深效果图生成方法的示意图；
[0034]图11示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成制作的示意图；
[0035]图12示出了本申请一个示例性实施例提供的基于虚拟现实的景深效果图生成方法的界面示意图；
[0036]图13示出了本申请一个示例性实施例提供的计算机设备的示意图。
具体实施方式
[0037]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0038]景深(Depth Of field，DOF)：是指摄像机对焦点前后相对清晰的成像范围。在光学中，尤其是录影或是摄影，是一个描述在空间中，可以清楚成像的距离范围。摄像机使用的透镜只能够将光聚到某一固定的距离，远离此点的图像则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟现实的视频生成方法，其特征在于，所述方法包括：从视频帧序列中获取目标视频帧，所述视频帧序列是由现实摄像机采集目标场景得到的，所述目标场景包括现实前景和虚拟背景，所述虚拟背景显示在现实环境中的物理屏幕上；获取所述目标视频帧的现实前景深度图和虚拟背景深度图，所述现实前景深度图包括所述现实前景到所述现实摄像机的深度信息，所述虚拟背景深度图包括被映射到所述现实环境后的所述虚拟背景到所述现实摄像机的深度信息；融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，所述融合深度图包括所述目标场景内的各个参考点在所述现实环境中到所述现实摄像机的深度信息；根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图；基于所述目标视频帧的所述景深效果图，生成具有景深效果的目标视频。2.根据权利要求1所述的方法，其特征在于，所述现实前景深度图包括与所述虚拟背景对应的背景区域；所述融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，包括：根据所述虚拟背景深度图内属于所述背景区域的第二像素点的第二深度信息，更新所述现实前景深度图内属于所述背景区域的第一像素点的第一深度信息，得到所述融合深度图。3.根据权利要求2所述的方法，其特征在于，所述根据所述虚拟背景深度图内属于所述背景区域的第二像素点的第二深度信息，更新所述现实前景深度图内属于所述背景区域的第一像素点的第一深度信息，得到所述融合深度图，包括：在所述虚拟背景深度图中，确定与所述现实前景深度图中属于所述背景区域的第i个第一像素点对应的第j个第二像素点，所述i，j为正整数；使用所述第j个第二像素点的所述第二深度信息，在所述现实前景深度图中替换所述第i个第一像素点的所述第一深度信息；将i更新为i+1，重复上述两个步骤，直至遍历所述现实前景深度图中属于所述背景区域的各个第一像素点的所述第一深度信息，得到所述融合深度图。4.根据权利要求3所述的方法，其特征在于，所述在所述虚拟背景深度图中，确定与所述现实前景深度图中属于所述背景区域的第i个第一像素点对应的第j个第二像素点，包括：根据所述现实摄像机的内外参数，确定所述背景区域的所述第i个第一像素点在所述物理屏幕上的屏幕坐标；在虚拟环境中，根据所述屏幕坐标确定与所述第i个第一像素点对应的虚拟点的坐标；根据虚拟摄像机的内外参数，将所述虚拟点的坐标映射到所述虚拟背景深度图上，得到所述第j个第二像素点，所述虚拟摄像机用于在所述虚拟环境中拍摄与所述虚拟背景对应的渲染目标。5.根据权利要求1至4任一项所述的方法，其特征在于，所述现实前景深度图包括与所述现实前景对应的前景区域；所述方法还包括：
更新所述现实前景深度图内属于所述前景区域的第三像素点的第三深度信息，所述第三像素点是与目标物体对应的像素点。6.根据权利要求5所述的方法，其特征在于，所述第三深度信息包括深度值；所述更新所述现实前景深度图内属于所述前景区域的第三像素点的第三深度信息，包括：在所述现实前景深度图的所述前景区域中，确定属于所述目标物体的第三像素点；响应于深度值更新指令，更新所述第三像素点的深度值。7.根据权利要求6所述的方法，其特征在于，所述响应于深度值更新指令，更新所述第三像素点的深度值，包括：根据深度值设置指令，将所述第三像素点的深度值设置为第一预设深度值；或，根据深度值增加指令，为所述第三像素点的深度值增加第二预设深度值；或，根据深度值减小指令，为所述第三像素点的深度值减小第三预设深度值。8.根据权利要求1至4任一项所述的方法，其特征在于，所述获取目标场景的现实前景深度图，包括：根据深度摄像机的内外参数和所述现实摄像机的内外参数，生成所述深度摄像机与所述现实摄像机之间的空间偏移信息；获取所述深度摄像机采集的深度图；根据所述空间偏移信息，将所述深度图的深度信息映射到所述目标视频帧上，得到所述现实前景深度图。9.根据权利要求1至4任一项所述的方法，其特征在于，所述现实摄像机用于从第一角度拍摄所述目标场景；所述获取目标...

【专利技术属性】
技术研发人员：周鑫，李锐，李想，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：