一种移动视频与地理场景的融合方法、系统及电子设备技术方案

本发明专利技术提供了一种移动视频与地理场景的融合方法、系统及电子设备，根据无人机相机的位置信息确定出的地形影像数据中选取视频关键帧；提取视频关键帧与地形影像的匹配点；根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标；根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。本方法以无人机视频和地理场景图像作为原始数据，并且根据ASIFT算法得到关键帧与地理图像的高精度匹配点，利用该匹配点实现基于无人机视频得到对应视频区域的动态场景模型动态场景的融合，具有较高的精度和实用性。

【技术实现步骤摘要】
一种移动视频与地理场景的融合方法、系统及电子设备
本专利技术涉及虚拟现实
，尤其涉及的是一种移动视频与地理场景的融合方法、系统及电子设备。
技术介绍
随着视频技术的不断发展，在不同领域的应用越来越多，比如应急灾害等等，在发生地震，塌方、泥石流等自然灾害的时候，由于无人机具有成本低、机动性强、安全风险系数小等优点被广泛应用在地形测绘、倾斜摄影、侦测现场等领域。然而目前常规监控系统，由于存在海量视频分散、孤立、视角不完整、位置不明确等问题，尤其是移动视频与地理场景融合、面向安防视频监控以及应急减灾等领域正是从解决此现状问题的角度而衍生。视频地理场景融合可以更直观、更明确的管理摄像机和掌控视频动态，但是目前还难以将无人机视频与实际的地理场景联系起来，具体位置不明确、视角不完整等问题，因此无法提供更为准确的动态画面。因此，现有技术有待于进一步的改进。
技术实现思路
鉴于上述现有技术中的不足之处，本专利技术的目的在于为用户提供一种移动视频与地理场景的融合方法、系统及电子设备，克服现有技术中的无人机视频不能实现与地理场景精确融合的缺陷。本专利技术解决技术问题所采用的技术方案如下：第一方面，本实施例公开了一种移动视频与地理场景的融合方法，其中，包括步骤：根据无人机相机的位置信息确定场景融合区域的地形影像数据，以及从无人机采集的视频图像中选取视频关键帧；根据ASIFT算法提取视频关键帧与地形影像的匹配点；根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标；根据视频关键帧角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。可选的，所述根据无人机相机的位置信息确定场景融合区域的地形影像数据的步骤包括：获取所述无人机相机的初始位置定位场景融合区域的区域信息；查找是否含有与所述区域信息对应的数字地表模型；若否，则查找与所述区域信息对应的数字正射影像。可选的，所述根据ASIFT算法提取视频关键帧与地形影像的匹配点的步骤包括：从视频关键帧的原始图像中选取采样参数，并使用采样参数模拟不同经度角和纬度角的图像，得到模拟图像；计算模拟图像的特征；根据所有模拟图像的特征进行图像匹配。可选的，所述根据ASIFT算法提取视频关键帧与地形影像的匹配点的步骤之后，还包括：使用RANSAC算法剔除错误的匹配点。可选的，所述使用RANSAC算法剔除错误的匹配点的步骤包括：从所述匹配点中抽取四对不共线的匹配点，计算出仿射变换矩阵的模型，以及计算所有匹配点与模型的投影误差；判断所投影误差是否大于预设阈值，若大于，则将该匹配点剔除。可选的，所述根据所述匹配点坐标和透视变换公式计算出视频关键帧的角点对应在地形影像中的像素坐标，并将所述像素坐标转换为经纬度坐标的步骤包括：根根匹配点坐标计算出视频帧投影到地形影像中的透视变换矩阵；根据所述透视变换矩阵反算出视频关键帧四个角点在地形影像上对应的像素坐标；利用坐标转换公式将所述像素坐标转换为经纬度坐标。可选的，所述根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型的步骤包括：根据视频关键帧的角点对应的经纬度坐标，通过内插法得到所有处于所述视频关键帧中间的中间帧的角点坐标；根据得到的各个中间帧的角点坐标和视频关键帧的角点坐标，完成视频与地理场景的融合，得到所述三维场景模型。第三方面，本实施例公开了一种移动视频与地理场景的融合系统，其中，包括：关键帧选取模块，用于根据无人机相机的位置信息确定场景融合区域的地形影像数据，以及从无人机采集的视频图像中选取视频关键帧；匹配点提取模块，用于根据ASIFT算法提取视频关键帧与地形影像的匹配点；坐标转换模块，用于根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标；模型建立模块，用于根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。第三方面，本实施例公开了一种电子设备，其中，包括处理器、与处理器通信连接的存储介质，所述存储介质适于存储多条指令；所述处理器适于调用所述存储介质中的指令，以执行实现所述的移动视频与地理场景的融合方法的步骤。第四方面，本实施例公开了一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的移动视频与地理场景的融合方法的步骤。有益效果，本专利技术提供了一种移动视频与地理场景的融合方法、系统及电子设备，根据无人机相机的位置信息确定场景融合区域的地形影像数据，从确定出的地形影像数据中选取视频关键帧；根据ASIFT算法提取视频关键帧与地形影像的匹配点；根据所述匹配点坐标和透视变换公式计算出视频关键帧的角点对应在地形影像中的像素坐标，并将所述像素坐标转换为经纬度坐标；根据视频关键帧的角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。本专利技术以无人机视频和地理场景图像作为原始数据，首先实现单帧视频与地理场景的融合，再实现所有视频帧与地理场景的融合，具有极高的精度和实用性。附图说明图1是本专利技术实施例提供的移动视频与地理场景的融合方法的步骤流程图；图2是本专利技术实施例中移动视频与地理场景的融合具体应用示意图；图3是本专利技术实施例中求解匹配点过程中仿射参数的几何解释图；图4是本专利技术实施例中求解所有视频帧角点坐标的参数解释图；图5是本专利技术实施例中移动视频与地理场景的融合系统的原理结构框图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本专利技术，并不用于限定本专利技术。视频地理空间融合指把一个或多个由摄像机图像序列视频(比如无人机的相机拍摄的视频)和与之相关的地理场景加以匹配和融合，生成一个新的关于此场景的动态虚拟场景或模型，实现地理场景与实时视频的融合。视频地理空间融合是虚拟现实技术的分支，也是虚拟现实的一个发展阶段。由于将无人机视频与实际的地理场景相融合时，视频中图像帧的具体位置不明确、视角不完整等问题，当需要查看该区域图像时，无法获取到精确直观的动态区域画面。为了解决上述问题，本实施例提供了一种移动视频与地理场景相融合的方法。本方法在实现移动视频地理空间融合时，通过相机或云台提供的初始位置，获取与视频位置相符的地形与影像数据，通过图像自动匹配算法获得足够的匹配点，根据匹配点求出视频与地理场景的转换关系进而得到匹配后的视频角点经纬度坐标，根据这些位置信息将移动视频融合到地理场景中，从而得到含有精确动态区域场景信息的三维模型。下面结合附图，详细说明本发本文档来自技高网...

【技术保护点】
1.一种移动视频与地理场景的融合方法，其特征在于，包括步骤：/n根据无人机相机的位置信息确定场景融合区域的地形影像数据，以及从无人机采集的视频图像中选取视频关键帧；/n根据ASIFT算法提取视频关键帧与地形影像的匹配点；/n根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标；/n根据视频关键帧角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。/n

【技术特征摘要】
1.一种移动视频与地理场景的融合方法，其特征在于，包括步骤：
根据无人机相机的位置信息确定场景融合区域的地形影像数据，以及从无人机采集的视频图像中选取视频关键帧；
根据ASIFT算法提取视频关键帧与地形影像的匹配点；
根据所述匹配点坐标和透视变换公式计算出视频关键帧角点的像素坐标，并将所述像素坐标转换为经纬度坐标；
根据视频关键帧角点对应的经纬度坐标，利用内插法得到移动视频融合到地形影像的三维场景模型。


2.根据权利要求1所述的移动视频与地理场景的融合方法，其特征在于，所述根据无人机相机的位置信息确定场景融合区域的地形影像数据的步骤包括：
获取所述无人机相机的初始位置定位场景融合区域的区域信息；
查找是否含有与所述区域信息对应的数字地表模型；
若否，则查找与所述区域信息对应的数字正射影像。


3.根据权利要求1所述的移动视频与地理场景的融合方法，其特征在于，所述根据ASIFT算法提取视频关键帧与地形影像的匹配点的步骤包括：
从视频关键帧的原始图像中选取采样参数，并使用采样参数模拟不同经度角和纬度角的图像，得到模拟图像；
计算模拟图像的特征；
根据所有模拟图像的特征进行图像匹配。


4.根据权利要求1所述的移动视频与地理场景的融合方法，其特征在于，所述根据ASIFT算法提取视频关键帧与地形影像的匹配点的步骤之后，还包括：
使用RANSAC算法剔除错误的匹配点。


5.根据权利要求4所述的移动视频与地理场景的融合方法，其特征在于，所述使用RANSAC算法剔除错误的匹配点的步骤包括：
从所述匹配点中抽取四对不共线的匹配点，计算出仿射变换矩阵的模型，以及计算所有匹配点与模型的投影误差；
判断所投影误差是否大于预设阈值，若大于，则将该匹配点剔除。


6.根据权利要求1所述的移动视频与地理场景的融合方法，其特征在于，所述...

【专利技术属性】
技术研发人员：汤圣君，赵维淞，王伟玺，李晓明，郭仁忠，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44