基于航拍视频流的实时迭代三维建模方法、系统及可读介质技术方案

本发明专利技术涉及视频三维建模技术领域，具体涉及一种基于航拍视频流的实时迭代三维建模方法、系统及可读介质，包括以下步骤：S1根据特征点数据选定初始关键帧，并根据相机标定参数和POS数据连续计算重叠率抽取关键帧；S2初始关键帧与第二关键帧特征点匹配并结合POS数据生成优化初始特征点云模型；S3新增关键帧逐帧匹配扩充优化特征点云，得到实时迭代的特征点云模型；S4新增关键帧再逐帧全像素点密集匹配融合密集点云，得到实时迭代的密集点云模型；S5密集点云模型生成三角网并进行纹理映射，最终得到实时迭代的具有真实纹理的三维模型。

【技术实现步骤摘要】
基于航拍视频流的实时迭代三维建模方法、系统及可读介质
本专利技术涉及视频三维建模
，具体涉及一种基于航拍视频流的实时迭代三维建模方法、系统及可读介质。
技术介绍
随着无人机的广泛应用，利用无人机实时视频数据进行快速三维建模成为测绘、安保、应急、巡检等行业应用领域的突出技术需求和重要研究课题。现有基于图像或视频的三维建模方法一般采用SFM(structurefrommotion)技术，在测绘和计算机视觉领域都有大量成功的应用，代表性的开源项目包括Bundler、COLMAP、openMVG等。但SFM技术的瓶颈是运算量大，由于图像匹配和整体优化非常耗时，一般采用离线处理的方式，很难达到实时处理的要求。近年来的研究热点SLAM(simultaneouslocalizationandmapping)技术，在无人驾驶、机器人自动导航等领域有广泛的应用，根据采集设备的不同，SLAM技术又可以分为视觉SLAM和激光SLAM，但基本的处理框架是相似的，都包括前端里程计、后端图优化、回环检测等模块。SLAM技术通过快速匹配、图优化和并行处理实现实时处理的效果。视觉SLAM技术能够根据视频数据计算出位置和姿态信息，但是限于位置和姿态的精度较低，目前的算法一般只能得到稀疏点云或半稠密点云。代表性的算法包括ORB-SLAM和LSD-SLAM等。针对目前SFM和SLAM技术难以实现具有密集点云与纹理映射的实时迭代三维建模的局限，本专利技术提出一种融合POS信息和SLAM、并行密集匹配、点云匹配技术的实时迭代三维建模方法、系统及可读介质。
技术实现思路
针对现有技术的局限，本专利技术公开了一种基于航拍视频流的实时迭代三维建模方法、系统及可读介质，用于解决目前SFM和SLAM技术难以实现具有密集点云与纹理映射的实时迭代三维建模的瓶颈。本专利技术通过以下技术方案予以实现：第一方面，本专利技术公开一种基于航拍视频流的实时迭代三维建模方法，包括以下步骤：S1根据特征点提取数量选定初始关键帧，再根据相机标定参数和POS数据连续计算重叠率抽取关键帧；S2将S1中获取的初始关键帧与第二关键帧进行特征点匹配，结合POS数据生成初始特征点云模型，并采用图优化法整体优化提高点云和位姿精度；S3将S1中获取的后续新增关键帧逐帧与相邻关键帧进行特征点匹配，加入扩充S2中获取的初始特征点云模型，并采用光束法和图优化法整体优化提高点云和位姿精度，得到实时迭代的特征点云模型；S4根据S2和S3中获取的位姿参数和特征点云模型，采用并行的半全局密集匹配方法，将新增关键帧逐帧与相邻关键帧进行全像素点密集匹配，并采用点云匹配技术进行整体点云融合，得到实时迭代的密集点云模型；S5根据S4获取的密集点云模型，生成三角网并进行纹理映射，最终得到实时迭代的具有真实纹理的三维模型。更进一步的，所述S1中，自开始任务区域扫描的第一帧视频起，逐帧进行快速特征点提取，选定特征点数量不低于设定阈值的第一个视频帧为初始关键帧，并开始按重叠率连续迭代抽取后续的关键帧。更进一步的，所述S1中，根据POS数据提供的高度信息和相机标定参数提供的焦距以及视频图像参数，计算后续视频帧与当前关键帧影像对应地面区域的重叠率，其中POS数据的相对高度为H，相机标定的焦距为f，利用相似三角形原理来计算视频帧图像的四个角点p1，p2，p3，p4投影到地面上得到地面坐标点P1，P2，P3，P4，根据地面四边形的位置和面积可计算后续视频帧与当前关键帧的重叠率。更进一步的，所述S2中，利用特征点快速提取和匹配方法获取初始关键帧和第二关键帧准确的同名点对，再利用POS数据提供的位姿信息计算同名点对的三维坐标初始值，生成初始特征点云模型。更进一步的，所述S2中，使用五点法相对定向计算初始特征点云的相对位姿，并作为约束，与投影约束一起进行图优化整体优化，得到更高精度的初始特征点云模型。更进一步的，所述S3中，在后续抽取新增的关键帧后，根据该关键帧对应的POS数据计算其相邻的关键帧，然后将新增关键帧与所有相邻关键帧进行特征点匹配。如匹配成功，根据匹配结果抽取连接点，连接点是匹配同名点对应的三维点，加入新增关键帧的特征点云扩充初始特征点云模型，同时利用连接点和特征点之间的对应关系，恢复新增关键帧的位姿参数。如匹配失败，保留该关键帧，将其POS数据作为该关键帧的位姿参数，继续与后续抽取的相邻关键帧进行特征点匹配，匹配成功后加入该关键帧的特征点云扩充初始特征点云模型，并恢复更新该关键帧的位姿参数，从而实现更为完整的三维模型效果。更进一步的，所述S3中，在获取新增关键帧的位姿参数初始值后，将当前所有关键帧位姿和特征点云数据进行光束法的整体平差优化；再将关键帧的位置和姿态当作位姿节点，利用计算机视觉中的本质矩阵分解来得到位姿节点之间的相对位置和姿态，并将其作为约束一起进行优化，得到实时迭代的更高精度的特征点云模型和位姿参数。更进一步的，所述S4中，在获取更高精度的特征点云模型和位姿参数后，采用并行的半全局密集匹配方法，将新增关键帧逐帧与相邻关键帧进行全像素点密集匹配，并采用点云匹配技术进行整体点云融合，得到实时迭代的密集点云模型。第二方面，本专利技术公开一种基于航拍视频流的实时迭代三维建模系统，所述系统用于执行第一方面所述的基于航拍视频流的实时迭代三维建模方法，所述系统包括关键帧计算抽取模块、特征点云匹配优化模块、密集点云匹配融合模块和三角网纹理映射模块，所述关键帧计算抽取模块、特征点云匹配优化模块、密集点云匹配融合模块分别用三个进程运行，其中密集点云匹配融合模块基于GPU运行。第三方面，本专利技术公开一种可读介质，包括执行指令，当基于航拍视频流的实时迭代三维建模系统的处理器执行所述执行指令时，所述基于航拍视频流的实时迭代三维建模系统执行第一方面所述的基于航拍视频流的实时迭代三维建模方法。本专利技术的有益效果为：本专利技术融合POS信息和SLAM、并行密集匹配、点云匹配技术，利用POS数据连续抽取视频关键帧，在初始关键帧匹配优化初始特征点云模型后，后续关键帧逐帧实时迭代的匹配扩充、整体优化特征点云模型和密集点云模型，同步生成三角网并纹理映射，最终实现实时迭代的具有真实纹理的三维模型。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的系统架构图；图2是本专利技术实施例的关键帧计算抽取流程图；图3是本专利技术实施例的视频帧重叠度计算示意图；图4是本专利技术实施例的特征点云模型初始化流程图；图5是本专利技术实施例的密集点云模型迭代增生优化流程图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种基于航拍视频流的实时迭代三维建模方法，其特征在于，所述方法包括以下步骤：/nS1根据特征点提取数量选定初始关键帧，再根据相机标定参数和POS数据连续计算重叠率抽取关键帧；/nS2将S1中获取的初始关键帧与第二关键帧进行特征点匹配，结合POS数据生成初始特征点云模型，并采用图优化法整体优化提高点云和位姿精度；/nS3将S1中获取的后续新增关键帧逐帧与相邻关键帧进行特征点匹配，加入扩充S2中获取的初始特征点云模型，并采用光束法和图优化法整体优化提高点云和位姿精度，得到实时迭代的特征点云模型；/nS4根据S2和S3中获取的位姿参数和特征点云模型，采用并行的半全局密集匹配方法，将新增关键帧逐帧与相邻关键帧进行全像素点密集匹配，并采用点云匹配技术进行整体点云融合，得到实时迭代的密集点云模型；/nS5根据S4获取的密集点云模型，生成三角网并进行纹理映射，最终得到实时迭代的具有真实纹理的三维模型。/n

【技术特征摘要】
1.一种基于航拍视频流的实时迭代三维建模方法，其特征在于，所述方法包括以下步骤：
S1根据特征点提取数量选定初始关键帧，再根据相机标定参数和POS数据连续计算重叠率抽取关键帧；
S2将S1中获取的初始关键帧与第二关键帧进行特征点匹配，结合POS数据生成初始特征点云模型，并采用图优化法整体优化提高点云和位姿精度；
S3将S1中获取的后续新增关键帧逐帧与相邻关键帧进行特征点匹配，加入扩充S2中获取的初始特征点云模型，并采用光束法和图优化法整体优化提高点云和位姿精度，得到实时迭代的特征点云模型；
S4根据S2和S3中获取的位姿参数和特征点云模型，采用并行的半全局密集匹配方法，将新增关键帧逐帧与相邻关键帧进行全像素点密集匹配，并采用点云匹配技术进行整体点云融合，得到实时迭代的密集点云模型；
S5根据S4获取的密集点云模型，生成三角网并进行纹理映射，最终得到实时迭代的具有真实纹理的三维模型。


2.根据权利要求1所述的基于航拍视频流的实时迭代三维建模方法，其特征在于，所述S1中，自开始任务区域扫描的第一帧视频起，逐帧进行快速特征点提取，选定特征点数量不低于设定阈值的第一个视频帧为初始关键帧，并开始按重叠率连续迭代抽取后续的关键帧。


3.根据权利要求1所述的基于航拍视频流的实时迭代三维建模方法，其特征在于，所述S1中，根据POS数据提供的高度信息和相机标定参数提供的焦距以及视频图像参数，计算后续视频帧与当前关键帧影像对应地面区域的重叠率，其中POS数据的相对高度为H，相机标定的焦距为f，利用相似三角形原理来计算视频帧图像的四个角点p1，p2，p3，p4投影到地面上得到地面坐标点P1，P2，P3，P4，根据地面四边形的位置和面积可计算后续视频帧与当前关键帧的重叠率。


4.根据权利要求1所述的基于航拍视频流的实时迭代三维建模方法，其特征在于，所述S2中，利用特征点快速提取和匹配方法获取初始关键帧和第二关键帧准确的同名点对，再利用POS数据提供的位姿信息计算同名点对的三维坐标初始值，生成初始特征点云模型。


5.根据权利要求1所述的基于航拍视频流的实时迭代三维建模方法，其特征在于，所述S2中，使用五点法相对定向计算初始特征点云的相对位姿，并作为约束，与投影约束...

【专利技术属性】
技术研发人员：谢东海，王永威，彭齐路，
申请(专利权)人：航天图景北京科技有限公司，
类型：发明
国别省市：北京;11