一种基于三维场景的视频融合方法及系统技术方案

本发明专利技术公开了一种基于三维场景的视频融合方法，本发明专利技术的视频融合技术比通过相机标定或手动调节虚拟相机参数融合的方式效率更高，而且无需载体，极大提高了视频融合的效率。是一项全新的视频融合技术的发明专利技术。对比现有市面上的一些视频融合技术，很多现有视频融合技术存在操作复杂，适用场景太理想化，局限性大，融合效果差等问题。本发明专利技术的视频融技术只需选取四对标准点坐标(包括视频图像像素坐标和三维实景模型对应的世界坐标)，就能自动，快速，准确的融合好一个待融合视频，而且融合效果不错，极大的缩减了视频融合到三维实景模型上的成本。成本。成本。

【技术实现步骤摘要】
一种基于三维场景的视频融合方法及系统


[0001]本专利技术涉及图像处理的
，尤其涉及一种基于三维场景的视频融合方法及系统。

技术介绍

[0002]视频融合技术在智慧城市，数字孪生领域有着重要作用。在智慧城市的业务场景中会经常碰到把实时监控视频投影到三维实景模型数据上的需求，从而达到虚实融合的效果，在安防，无人巡检等领域也有广泛使用。如何将视频自动或者半自动投影到三维实景模型数据上，是实现视频融合效果的第一步，也是最关键的一步。当前市面上已经有不少视频融合技术，例如，现有技术中国专利202211528984.1公开了一种视频融合方法、装置、电子设备及存储介质，其采用的方法是在所述GIS系统中加载三维模型，构建类真实的虚拟场景；将所述实时监控视频投射到GIS系统中；对所述实时监控视频进行不规则裁剪，将裁剪后的实时监控视频融合到构建的虚拟场景中。
[0003]然而上述方法，还是会出现视频融合时候局限于三维模型的形状，而且容易出现视频穿透模型、视频重复的问题，导致用户体验较差。

技术实现思路

[0004]本专利技术的视频融合技术是通过视频关键帧采样标准点，然后计算出视频在实景三维场景中的虚拟相机位置和姿态，然后再根据虚拟相机的位置和姿态将视频流投射到实景三维中，从而实现视频融合的效果。
[0005]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术公开了一种基于三维场景的视频融合方法，所述视频融合方法包括如下步骤：
[0006]步骤1，获取预设视频图像序列并从所述视频图像序列中截取预设位置的单帧视频图像，在所述单帧视频图像上初始化图像坐标，并在视频图像上的预设坐标位置上选取多个标准点；
[0007]步骤2，获取待与所述视频图像序列进行融合的三维实景模型，建立所述三维实景模型与待融合的视频图像的坐标映射关系，从所述三维实景模型中确定所述多个标准点对应的世界坐标；
[0008]步骤3，在所述三维实景模型中做出视频图像的第一标准点对应的世界坐标到视频图像第二标准点对应的世界坐标的连线，并在所述连线的延长线上按照第一预设长度间隔，竖直间隔生成预设数量的插值点，把视频融合的虚拟相机的位置放置所述插值点上并朝向所述第一标准点对应的世界坐标的位置后执行渲染操作，将渲染后的数据存储于帧缓存中；
[0009]步骤4，在所述帧缓存中求得所述多个标准点中除第一标准点之外的其余标准点对应的屏幕坐标，通过欧几里得距离法求取所述其余标准点对应的屏幕坐标与所述多个标准点在视频图像上的预设坐标位置进行相似度比较，并将相似程度最高的插值点作为虚拟
相机的第一暂定位置；
[0010]步骤5，在所述三维实景模型中做出视频图像的第一标准点对应的世界坐标到视频图像第二标准点对应的世界坐标的连线，以所述第一暂定位置为中心沿所述连线方向按照第二预设长度的水平间隔，重新竖直间隔生成预设数量的插值点，并将视频融合的虚拟相机的位置放置所述插值点上并朝向所述第一标准点对应的世界坐标的位置后重新执行渲染操作重复所述步骤4确定虚拟相机的第二暂定位置，
[0011]步骤6，继续调下插值间隔并重复步骤5，直到求得欧几里得距离最小即融合效果最佳的虚拟相机的位置，将视频流从得到的最佳虚拟相机的位置和朝向投射到三维实景模型中。
[0012]更进一步地，所述多个标准点为4个确定位置的标准点，其位于所述单帧视频图像的中心点位置、底部最左下角、底部中间点以及底部最右下角。
[0013]更进一步地，所述在所述三维实景模型中做出视频图像的第一标准点对应的世界坐标到视频图像第二标准点对应的世界坐标的连线进一步包括：所述第一标准点为图像中心点坐标，所述第二标准点为图像底部中点坐标。
[0014]更进一步地，所述第一预设长度和第二预设长度为由用户输入的长度数值，所述第一预设长度初始设定为10米所述第二预设长度初始设定为1米。
[0015]更进一步地，所述通过欧几里得距离法求取所述其余标准点对应的屏幕坐标与所述多个标准点在视频图像上的预设坐标位置进行相似度比较进一步包括：欧几里得距离计算公式得到相似度表示为：
[0016]√[(p1
‑
q1)2+(p2
‑
q2)2+(p3
‑
q3)2][0017]其中，p1，p2，p3为帧缓存中表示标准点的对应的屏幕坐标值，q1，q2，q3表示对应的在视频图像上的预设坐标值。
[0018]本专利技术还公开了一种基于三维场景的视频融合系统，所述视频融合系统包括如下模块：
[0019]坐标点选择模块，获取预设视频图像序列并从所述视频图像序列中截取预设位置的单帧视频图像，在所述单帧视频图像上初始化图像坐标，并在视频图像上的预设坐标位置上选取多个标准点；
[0020]坐标映射模块，获取待与所述视频图像序列进行融合的三维实景模型，建立所述三维实景模型与待融合的视频图像的坐标映射关系，从所述三维实景模型中确定所述多个标准点对应的世界坐标；
[0021]虚拟相机初始渲染模块，在所述三维实景模型中做出视频图像的第一标准点对应的世界坐标到视频图像第二标准点对应的世界坐标的连线，并在所述连线的延长线上按照第一预设长度间隔，竖直间隔生成预设数量的插值点，把视频融合的虚拟相机的位置放置所述插值点上并朝向所述第一标准点对应的世界坐标的位置后执行渲染操作，将渲染后的数据存储于帧缓存中；
[0022]虚拟相机定位模块，在所述帧缓存中求得所述多个标准点中除第一标准点之外的其余标准点对应的屏幕坐标，通过欧几里得距离法求取所述其余标准点对应的屏幕坐标与所述多个标准点在视频图像上的预设坐标位置进行相似度比较，并将相似程度最高的插值点作为虚拟相机的第一暂定位置；
[0023]定位更新模块，在所述三维实景模型中做出视频图像的第一标准点对应的世界坐标到视频图像第二标准点对应的世界坐标的连线，以所述第一暂定位置为中心沿所述连线方向按照第二预设长度的水平间隔，重新竖直间隔生成预设数量的插值点，并将视频融合的虚拟相机的位置放置所述插值点上并朝向所述第一标准点对应的世界坐标的位置后重新执行渲染操作重复所述步骤4确定虚拟相机的第二暂定位置，
[0024]融合模块，继续调下插值间隔并重复定位更新模块执行的功能，直到求得欧几里得距离最小即融合效果最佳的虚拟相机的位置，将视频流从得到的最佳虚拟相机的位置和朝向投射到三维实景模型中。
[0025]更进一步地，所述多个标准点为4个确定位置的标准点，其位于所述单帧视频图像的中心点位置、底部最左下角、底部中间点以及底部最右下角。
[0026]更进一步地，所述在所述三维实景模型中做出视频图像的第一标准点对应的世界坐标到视频图像第二标准点对应的世界坐标的连线进一步包括：所述第一标准点为图像中心点坐标，所述第二标准点为图像底部中点坐标。
[0027]更进一步地，所述第一预设长度和第二预设长度为由用户输入的长度数值，所述第一预设长度初始设定为10米所述第二预设长度初始设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于三维场景的视频融合方法，其特征在于，所述视频融合方法包括如下步骤：步骤1，获取预设视频图像序列并从所述视频图像序列中截取预设位置的单帧视频图像，在所述单帧视频图像上初始化图像坐标，并在视频图像上的预设坐标位置上选取多个标准点；步骤2，获取待与所述预设视频图像序列进行融合的三维实景模型，建立所述三维实景模型与待融合的视频图像的坐标映射关系，从所述三维实景模型中确定所述多个标准点对应的世界坐标；步骤3，在所述三维实景模型中做出视频图像的第一标准点对应的世界坐标到视频图像第二标准点对应的世界坐标的连线，并在所述连线的延长线上按照第一预设长度间隔，竖直间隔生成预设数量的插值点，把视频融合的虚拟相机的位置放置所述插值点上并朝向所述第一标准点对应的世界坐标的位置后执行渲染操作，将渲染后的数据存储于帧缓存中；步骤4，在所述帧缓存中求得所述多个标准点中除第一标准点之外的其余标准点对应的屏幕坐标，通过欧几里得距离法求取所述其余标准点对应的屏幕坐标与所述多个标准点在视频图像上的预设坐标位置进行相似度比较，并将相似程度最高的插值点作为虚拟相机的第一暂定位置；步骤5，在所述三维实景模型中做出视频图像的第一标准点对应的世界坐标到视频图像第二标准点对应的世界坐标的连线，以所述第一暂定位置为中心沿所述连线方向按照第二预设长度的水平间隔，重新竖直间隔生成预设数量的插值点，并将视频融合的虚拟相机的位置放置所述插值点上，并朝向所述第一标准点对应的世界坐标的位置后，重新执行渲染操作，重复所述步骤4确定出虚拟相机的第二暂定位置；步骤6，继续调下插值间隔并重复步骤5，直到求得欧几里得距离最小的位置，将视频流从得到的最佳虚拟相机的位置和朝向投射到三维实景模型中。2.如权利要求1所述的一种基于三维场景的视频融合方法，其特征在于，所述多个标准点为4个确定位置的标准点，其位于所述单帧视频图像的中心点位置、底部最左下角、底部中间点以及底部最右下角。3.如权利要求2所述的一种基于三维场景的视频融合方法，其特征在于，在所述三维实景模型中做出视频图像的第一标准点对应的世界坐标到视频图像第二标准点对应的世界坐标的连线进一步包括：所述第一标准点为图像中心点坐标，所述第二标准点为图像底部中点坐标。4.如权利要求1所述的一种基于三维场景的视频融合方法，其特征在于，所述第一预设长度和第二预设长度为由用户输入的长度数值，所述第一预设长度初始设定为10米，所述第二预设长度初始设定为1米。5.如权利要求1所述的一种基于三维场景的视频融合方法，其特征在于，所述步骤4中，通过欧几里得距离法得到相似度表示为d：d＝√[(p1
‑
q1)2+(p2
‑
q2)2+(p3
‑
q3)2]其中，p1，p2，p3为帧缓存中表示标准点的对应的屏幕坐标值，q1，q2，q3表示对应的在视频图像上的预设坐标值，√符号表示开平方。6.一种基于三维场景的视频融合系统，其特征在于，所述视频融合系统包括如下模块：
坐标点选择模块...

【专利技术属性】
技术研发人员：石立阳，曹琪，黄星淮，祝昌宝，
申请(专利权)人：数元科技广州有限公司，
类型：发明
国别省市：