视频融合方法、计算机程序产品、客户端及存储介质技术

本发明专利技术实施例提供一种视频融合方法、计算机程序产品、客户端及存储介质。方法包括：获取真实相机的真实配置信息以及真实相机采集的视频流，真实配置信息包括初始位姿信息和视角信息，初始位姿信息包括初始位置信息和初始姿态信息；基于特定变换关系对初始位姿信息进行变换，以获得经变换的位姿信息；将虚拟配置信息赋值给三维引擎的虚拟相机，虚拟配置信息包括视角信息和经变换的位姿信息；生成播放面板，其中，播放面板所在平面与虚拟相机的成像平面平行；对于视频流中的任一当前视频帧，将当前视频帧匹配到播放面板上；通过虚拟相机同步采集播放面板上的画面以及特定虚拟场景的画面，以获得融合视频帧。该方法直接在客户端进行融合，对硬件的性能要求低。对硬件的性能要求低。对硬件的性能要求低。

【技术实现步骤摘要】
视频融合方法、计算机程序产品、客户端及存储介质


[0001]本专利技术涉及虚拟现实
，更具体地涉及一种视频融合方法、计算机程序产品、客户端以及存储介质。

技术介绍

[0002]视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶段。视频融合技术是指将一个或多个由真实相机采集的关于某场景或模型的真实视频与一个与之相关的虚拟场景加以融合，以生成一个新的真实视频与虚拟场景混合的视频。
[0003]在现有的视频融合技术中，常规做法是将真实相机采集的视频流(即真实视频流或真实视频)传输到服务端，由服务端对真实视频流进行一些处理(例如解码、多路视频流拼接成一路视频流等)并输出一路经过处理的真实视频流。此外，服务端的三维引擎对虚拟场景进行渲染之后也输出一路包含虚拟场景的虚拟视频流。随后，服务端将真实视频流与虚拟视频流裁剪并拼接在一起，形成最终的融合视频流。最终，服务端将融合视频流经过编码之后传输给客户端，客户端再将融合视频流解码之后输出至显示装置上进行显示。
[0004]现有的视频融合方法可以达到真实视频与虚拟场景的融合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频融合方法，用于运行在客户端的三维引擎中，所述方法包括：获取真实相机的真实配置信息以及所述真实相机采集的视频流，其中，所述真实配置信息包括初始位姿信息和视角信息，所述初始位姿信息包括初始位置信息和初始姿态信息；基于特定变换关系对所述初始位姿信息进行变换，以获得经变换的位姿信息；将虚拟配置信息赋值给所述三维引擎的虚拟相机，所述虚拟配置信息包括所述视角信息和所述经变换的位姿信息；生成播放面板，其中，所述播放面板所在平面与所述虚拟相机的成像平面平行；对于所述视频流中的任一当前视频帧，将所述当前视频帧匹配到所述播放面板上；以及通过所述虚拟相机同步采集所述播放面板上的画面以及特定虚拟场景的画面，以获得与所述当前视频帧相对应的融合视频帧。2.如权利要求1所述的方法，其中，在所述通过所述虚拟相机同步采集所述播放面板上的画面以及特定虚拟场景的画面，以获得与所述当前视频帧相对应的融合视频帧之后，所述方法还包括：将所述融合视频帧渲染并输出至所述客户端的显示装置，以在所述显示装置上显示。3.如权利要求2所述的方法，其中，在所述将所述融合视频帧渲染并输出至所述客户端的显示装置，以在所述显示装置上显示之后，所述方法还包括：接收用户输入的针对所述虚拟配置信息的修改指令；基于所述修改指令对所述虚拟配置信息进行修改；以及将修改后的虚拟配置信息赋值给所述虚拟相机并返回至所述通过所述虚拟相机同步采集所述播放面板上的画面以及特定虚拟场景的画面，以获得与所述当前视频帧相对应的融合视频帧的步骤。4.如权利要求1所述的方法，其中，在所述通过所述虚拟相机同步采集所述播放面板上的画面以及特定虚拟场景的画面，以获得与所述当前视频帧相对应的融合视频帧之前，所述方法还包括：对所述当前视频帧进行边缘虚化处理，以获得与所述当前视频帧相对应的经虚化的视频帧。5.如权利要求4所述的方法，其中，所述对所述当前视频帧进行边缘虚化处理，以获得与所述当前视频帧相对应的经虚化的视频帧包括：对所述当前视频帧中的每个像素进行色彩提取，以获得第一色彩信息；获取特定虚化模板图像，所述特定虚化模板...

【专利技术属性】
技术研发人员：郝文辉，张长胜，张博，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：