多视频与三维场景融合方法技术

本发明专利技术公开了多视频与三维场景融合方法

【技术实现步骤摘要】
多视频与三维场景融合方法、装置、设备及存储介质


[0001]本专利技术涉及三维视频融合
，尤其涉及多视频与三维场景融合方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]三维视频融合技术指把一个或多个由摄像机图像序列视频和与之相关的三维虚拟场景加以匹配和融合，生成一个新的关于此场景的动态虚拟场景，实现虚拟场景与实时视频的融合，即虚实结合
。
例如，以摄像机为监控摄像机为例，将多个监控摄像机采集到的监控视频和三维虚拟场景融合在一起可以为许多应用提供丰富的信息和更真实的体验，但在实际应用中也可能面临如下的问题和缺点：1）融合不自然，即现有方法中将视频与三维场景相融合时，可能由于视觉差异，畸变问题，或者呈现方式等问题导致融合效果不够自然，扭曲
、
畸变或者不连贯，无法提供理想的用户体验，影响用户体验；2）缺乏沉浸感，即目前常见的三维场景和监控视频融合的方法是在三维场景弹出一个视频框来播放视频，或者把视频源转换成纹理的方式然后贴到三维场景中，这两种方式使得用户都比较难感受到监控信息和实际场景的融合，这可能影响用户对监控信息的理解和决策能力；3）限制了监控覆盖范围，即在现有的三维场景和监控视频融合的方法中可能受限于单个监控摄像头的视野，导致监控范围受限，这会影响到用户对全景情况的了解；4）动态场景适应不足，即在现有的三维场景和监控视频融合的解决方案中，如有移动的物体或者人员，传统方法难以准确的将监控视频和三维场景融合，这会导致在动态情况下的监控效果不佳；5）存在带宽不足的问题，即现有的三维场景中，在展示多个监控视频时，同时传给三维程序会照成传输卡顿，或者三维程序端编解码压力过大而造成三维程序卡顿
、
卡死等现象
。

技术实现思路

[0003]本专利技术实施例提供了多视频与三维场景融合方法
、
装置
、
设备及存储介质，旨在解决现有技术中多个监控摄像机采集到的监控视频和三维虚拟场景融合时由于视觉差异，畸变问题，或者呈现方式等问题导致融合效果不够自然，扭曲
、
畸变或者不连贯的问题
。
[0004]第一方面，本专利技术实施例提供了一种多视频与三维场景融合方法，其包括：响应于融合指令，获取与所述融合指令对应的拼接视频；其中，所述拼接视频由多个图像采集装置采集分别采集的视频流数据预先或实时基于视频拼接策略拼接处理得到；获取预先设置的且与三维场景对应的视频播放载体及三维场景视频播放方式；获取预先设置的且与三维场景对应的视频图像虚拟框及视频图像虚拟框参数；获取与所述融合指令对应的目标虚拟图像采集装置集，基于所述视频图像虚拟框
参数确定所述视频播放载体与所述目标虚拟图像采集装置集之间的当前播放距离；基于所述当前播放距离获取所述目标虚拟图像采集装置集的视椎体截面在所述视频图像虚拟框中对应的目标区域；基于所述目标区域获取所述拼接视频的目标裁剪区域，并生成与所述目标裁剪区域对应的多帧目标裁剪图像和多帧目标透明遮罩贴图；在所述视频播放载体中以多帧目标透明遮罩贴图为辅助体对应展示所述多帧目标裁剪图像
。
[0005]第二方面，本专利技术实施例还提供了一种多视频与三维场景融合装置，其包括：拼接视频获取单元，用于响应于融合指令，获取与所述融合指令对应的拼接视频；其中，所述拼接视频由多个图像采集装置采集分别采集的视频流数据预先或实时基于视频拼接策略拼接处理得到；视频播放载体获取单元，用于获取预先设置的且与三维场景对应的视频播放载体及三维场景视频播放方式；虚拟框获取单元，用于获取预先设置的且与三维场景对应的视频图像虚拟框及视频图像虚拟框参数；播放距离确定单元，用于获取与所述融合指令对应的目标虚拟图像采集装置集，基于所述视频图像虚拟框参数确定所述视频播放载体与所述目标虚拟图像采集装置集之间的当前播放距离；目标区域确定单元，用于基于所述当前播放距离获取所述目标虚拟图像采集装置集的视椎体截面在所述视频图像虚拟框中对应的目标区域；目标图像获取单元，用于基于所述目标区域获取所述拼接视频的目标裁剪区域，并生成与所述目标裁剪区域对应的多帧目标裁剪图像和多帧目标透明遮罩贴图；视频播放控制单元，用于在所述视频播放载体中以多帧目标透明遮罩贴图为辅助体对应展示所述多帧目标裁剪图像
。
[0006]第三方面，本专利技术实施例还提供了一种计算机设备；所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法
。
[0007]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述第一方面所述的方法
。
[0008]本专利技术实施例提供了多视频与三维场景融合方法
、
装置
、
设备及存储介质，方法包括：响应于融合指令，获取与融合指令对应的拼接视频；获取预先设置的且与三维场景对应的视频播放载体及三维场景视频播放方式；获取预先设置的且与三维场景对应的视频图像虚拟框及视频图像虚拟框参数；获取与融合指令对应的目标虚拟图像采集装置集，基于视频图像虚拟框参数确定视频播放载体与目标虚拟图像采集装置集之间的当前播放距离；基于当前播放距离获取目标虚拟图像采集装置集的视椎体截面在视频图像虚拟框中对应的目标区域；基于目标区域获取拼接视频的目标裁剪区域，并生成与目标裁剪区域对应的多帧目标裁剪图像和多帧目标透明遮罩贴图；在视频播放载体中对应展示多帧目标裁剪图像和多帧目标透明遮罩贴图
。
本专利技术实施例能实现多视频图像与三维场景的快速融合和及时
展示
。
附图说明
[0009]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图
。
[0010]图1为本专利技术实施例提供的多视频与三维场景融合方法的应用场景示意图；图2为本专利技术实施例提供的多视频与三维场景融合方法的流程示意图；图3为本专利技术实施例提供的多视频与三维场景融合方法的子流程示意图；图4为本专利技术实施例提供的多视频与三维场景融合方法的另一子流程示意图；图5为本专利技术实施例提供的多视频与三维场景融合方法的又一子流程示意图；图6为本专利技术实施例提供的多视频与三维场景融合方法的再一子流程示意图；图7为本专利技术实施例提供的多视频与三维场景融合装置的示意性框图；图8为本专利技术实施例提供的计算机设备的示意性框图
。
具体实施方式
[0011]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种多视频与三维场景融合方法，其特征在于，包括：响应于融合指令，获取与所述融合指令对应的拼接视频；其中，所述拼接视频由多个图像采集装置采集分别采集的视频流数据预先或实时基于视频拼接策略拼接处理得到；获取预先设置的且与三维场景对应的视频播放载体及三维场景视频播放方式；获取预先设置的且与三维场景对应的视频图像虚拟框及视频图像虚拟框参数；获取与所述融合指令对应的目标虚拟图像采集装置集，基于所述视频图像虚拟框参数确定所述视频播放载体与所述目标虚拟图像采集装置集之间的当前播放距离；基于所述当前播放距离获取所述目标虚拟图像采集装置集的视椎体截面在所述视频图像虚拟框中对应的目标区域；基于所述目标区域获取所述拼接视频的目标裁剪区域，并生成与所述目标裁剪区域对应的多帧目标裁剪图像和多帧目标透明遮罩贴图；在所述视频播放载体中以多帧目标透明遮罩贴图为辅助体对应展示所述多帧目标裁剪图像
。2.
根据权利要求1所述的方法，其特征在于，所述获取与所述融合指令对应的拼接视频，包括：获取所述融合指令对应的第一指令产生时间点和第一目标图像采集装置集，以所述第一指令产生时间点确定与所述第一目标图像采集装置集对应的第一拼接视频播放起始时间点；获取与所述第一目标图像采集装置集对应且以所述第一拼接视频播放起始时间点为视频起始时间点的所述拼接视频
。3.
根据权利要求1所述的方法，其特征在于，所述获取与所述融合指令对应的拼接视频，包括：获取所述融合指令对应的第二指令产生时间点和第二目标图像采集装置集，以所述第二指令产生时间点确定与所述第二目标图像采集装置集对应的第二拼接视频播放起始时间点；获取与所述第二目标图像采集装置集对应且以所述第二拼接视频播放起始时间点为视频起始时间点的目标视频流数据集；将所述目标视频流数据集中所包括各目标视频流数据基于所述视频拼接策略进行拼接处理，得到所述拼接视频
。4.
根据权利要求3所述的方法，其特征在于，所述将所述目标视频流数据集中所包括各目标视频流数据基于所述视频拼接策略进行拼接处理，得到所述拼接视频，包括：对所述目标视频流数据集中所包括各目标视频流数据进行图像预处理，得到目标预处理视频流数据集；对所述目标预处理视频流数据集进行畸变矫正，得到目标畸变矫正视频流数据集；对所述目标畸变矫正视频流数据集进行特征匹配和视频拼接处理，得到所述拼接视频
。5.
根据权利要求4所述的方法，其特征在于，所述对所述目标畸变矫正视频流数据集进行特征匹配和视频拼接处理，得到所述拼接视频，包括：将对所述目标畸变矫正视频流数据集中包括各目标畸变矫正视频流数据中依次进行
特征提取
、
特征描述
、
特...

【专利技术属性】
技术研发人员：余杰敏，黄海滨，
申请(专利权)人：启迪数字科技深圳有限公司，
类型：发明
国别省市：