一种无人机视频增强现实实现方法技术

本发明专利技术公开了一种基于摄影测量技术和3DGIS技术的无人机视频增强现实实现方法，主要步骤包括：视频抽帧、相机检校、空三重建、3DGIS虚拟场景建立、序列帧影像渲染、视频合成等。本发明专利技术利用了无人机POS数据，并利用空三平差方法恢复精确的相机轨迹和姿态，在3DGIS系统建立三维地理场景，叠加各类矢量数据，导入三维模型，添加自定义文字标注和图形标注，通过导入数字地表模型实现消隐效果，然后逐帧获取与原视频相同视角的渲染影像，与原视频逐帧叠加，获得包含丰富信息的视频成果。该方法提高了处理效率和效果，对于线性工程的重复巡线应用中，可大大提高自动化程度，为方案展示、现场巡检提供了高效、真实的技术手段。

【技术实现步骤摘要】
一种无人机视频增强现实实现方法
本专利技术属于无人机应用、计算机视觉和增强现实领域，具体涉及一种基于摄影测量技术和3DGIS技术的无人机视频增强现实实现方法。
技术介绍
多旋翼无人机视频航拍技术广泛应用于建筑工程领域，主要应用于方案规划和设计阶段对现场的信息采集、施工过程中的现场巡查。不做深化处理的航拍视频资料只能观看，无法与信息化系统融合。而基于视频的增强现实技术可在视频中叠加文字、图形注记等，可在航拍视频中展示设计方案、标注工程要素信息、记录问题，可大大提高航拍视频资料的信息化属性。目前，基于视频的增强现实方法主要是使用影视处理软件，采用计算机视觉的方法进行相对关系重建，进而添加信息，没有充分利用无人机的POS数据，没有建立视频与地理坐标系之间的定位关系，其信息融合能力低，信息图层无法直接复用，综合效率较低。
技术实现思路
本专利技术的目的是提供一种能够大幅提高视频资料的信息融合能力、处理效率和自动化程度较高的基于摄影测量技术和3DGIS技术的无人机视频增强现实实现方法。为此，本专利技术的技术方案如下：1、一种无人机视频增强现实实现方法，包括以下步骤：S1)采用摄影测量方法进行相机检校，获取相机精确的内方位参数，之后无人机利用所述相机进行带状视频采集，获取关键帧影像；其中，所述的相机内方位参数包括相机视场角、焦距和镜头畸变；关键帧影像按照1/10-1/30比率获取；S2)根据飞控或POS系统记录的飞行轨迹和姿态数据内插计算获取所述关键帧影像的初始外方位元素值；S3)建立单航带倾斜影像空三工程：由所述关键帧影像、初始外方位元素值和内方位参数，使用摄影测量空中三角测量方法，建立单航带倾斜影像空三工程；S4)采集控制点：在既有航测成果中采集像控点三维坐标，像控点沿带状分布，其中，所述既有航测成果为1：2000地形图、DOM、DEM及/或三维实景模型。S5)空三计算：空三平差计算，获取所述关键帧影像的精确的外方位元素值；S6)影像密集匹配，获取物方数字表面模型；S7)根据所述外方位元素值，采用拉格朗日内插算法逐帧计算外方位元素值；S8)在3DGIS系统中建立三维地理场景：在WGS84或GCCS2000椭球上建立三维地理场景，导入地理信息矢量图层；在三维地理场景中添加三维模型、文字标注和图形对象，并设置样式；S9)导入数字表面模型，将三维场景中的背景设置为黑色，仅显示需在视频中叠加的对象或图层；S10)根据所述外方位元素值，在三维场景中逐帧创建视点；S11)在三维场景中，对所述视点逐个进行渲染，获得序列帧信息影像，为所述序列帧信息影像添加透明通道，将黑色部分设置为透明；S12)对步骤10)处理后的信息影像进行镜头畸变变换，获得新的序列帧信息影像；S13)视频合成：将所述新的序列帧信息影像直接叠加到原始视频中，获得叠加了文字注记、图形标注和三维模型的增强现实视频成果。在步骤S1)中，所述无人机采用支持2K及以上分辨率摄像功能的消费级多旋翼无人机，所述相机的俯仰角(相对下视的摆动角度，即相对于垂直方向的摆动角度)为30°-60°，沿着带状航线匀速飞行。所述步骤S2)中，获取相机精确的内方位参数的方法如下：(1)无人机在视频采集模式下，以下视视角采集十字交叉多航带数据，航带数>2，旁向重叠大于50％，航线长度大于3倍视场角；(2)视频抽帧，保证航向重叠>80％；(3)使用带自检校功能的摄影测量空三平差软件，在无控制点模式下进行空三处理，获取相机的内方位参数。上述方法中，当使用高精度POS数据时，跳过所述步骤S6)，直接进行步骤S7)；当使用低精度POS数据时，在既有的航测4D成果中量测像控点地理坐标；当无数据可参考时，需进行实地测量。在步骤S8)中，所述地理信息矢量图层为shape、dxf格式的基础地理信息数据，及/或OpenStreetMap、WFS形式的地理信息服务数据。所述三维模型为三维建模软件输出工程BIM模型。优选的是，所述的工程BIM模型为经过烘培处理的建筑、桥梁模型。在步骤S10)中，将相机的外方位元素从摄影测量采用的Omega-Phi-Kappa转角系统转换到3DGIS三维场景采用的Yaw-Pitch-Roll转角系统，根据外方位元素中地位置和角度值载三维场景中创建视点。其中，转角系统转换的计算方法为：由旋转角Omega、Phi、Kappa计算旋转矩阵；根据Yaw-Pitch-Roll转角系统的固定轴旋转顺序RZ-RX-RY，推导旋转矩阵；由两个旋转矩阵各元素相等列方程组，由方程组解算Yaw、Pitch、Roll值。在步骤S12)，进行镜头畸变变换的方法为：根据像主点坐标和镜头畸变参数，将相机镜头畸变引入到信息影像中，使信息影像与原始视频具备同样的镜头畸变，进而实现自动配准。在步骤S13)中，所述新的序列帧信息影像与原视频具有相同的帧率和影像宽高，将所述新的序列帧信息影像直接叠加到原视频上并对齐，即可获得增强现实视频成果。本专利技术的有益效果如下：本专利技术采用航空摄影测量软件和处理方法处理航拍视频，利用3DGIS数据和系统进行信息融合，实现了视频增强现实处理。传统方法使用影视软件处理，建立的是基于相对坐标的虚拟三维场景，融合既有勘测设计资料过程繁琐，而本专利技术的方法使用真实地理坐标进行三维重建，可直接加载铁路勘测设计获取的既有航测数据成果、BIM模型、公共地理信息服务数据，大幅提高了视频资料的信息融合能力，降低了数据处理工作量；该方法无需影视专业人员和软件，可使用摄影测量和3DGIS软件独立完成，可充分利用现有的铁路勘测设计软件和并融入铁路勘测设计作业流程，降低了处理难度，便于修改，提高了处理效率，大大提高了自动化程度，为方案展示、现场巡检提供了高效、真实的技术手段。附图说明图1是本专利技术中的相机检校航带设计示意图；图2是本专利技术中的相机检校空三处理过程示意图；图3是本专利技术相机内方位参数文件示意图；图4是本专利技术中获取关键帧影像示意图；图5是本专利技术中用于计算关键帧初始外方位元素值的飞行轨迹示意图；图6是本专利技术中在摄影测量软件中的单航带空三结果示意图；图7是本专利技术中在3DGIS系统中建立的三维地理场景建立和矢量图层叠加示意图；图8是本专利技术中在3DGIS系统导入数字表面模型背景消隐示意图；图9是本专利技术中的逐视点渲染图结果示意图，其中738、739代表视频帧的序号，二者只有细微差别；图10是本专利技术中视频合成的单帧结果示意图。具体实施方式下面结合附图和具体实施例对本专利技术的方法进行详细说明。实施例一：一种基于摄影测量技术和3DGIS技术的无人机视频增强现实实现方法，包括以下步骤：S1)采用支持2K及以上分辨率摄像功能的消费级多旋翼无人机，相机的俯仰角(相对下视的摆动角度)为30°-60°，沿着如图1所示地航线匀速飞行。如图2所示，采用摄影测量方法，对检校场航拍数据进行自由空三处理，获取精确的相机视场角、焦距、镜头畸变等相机内方位参数，得到的参数文件如图3所示。然后，无人机利用所述相机进行带状视频采集，并对采集的视频进行抽帧，按照1/10-1/30比率获取关键帧影像。本实施例中，按照1/10比率获取关键帧影像，如图4所示。其中，获取相机精确的内方位参数的方法如下：(1)无人机在视频采集模式下，以下视视角采集十字交本文档来自技高网...

【技术保护点】
1.一种无人机视频增强现实实现方法，其特征在于，包括以下步骤：S1)采用摄影测量方法进行相机检校，获取相机精确的内方位参数，之后无人机利用所述相机进行带状视频采集，获取关键帧影像；S2)根据飞控或POS系统记录的飞行轨迹和姿态数据内插计算获取所述关键帧影像的初始外方位元素值；S3)建立单航带倾斜影像空三工程：由所述关键帧影像、初始外方位元素值和内方位参数，使用摄影测量空中三角测量方法，建立单航带倾斜影像空三工程；S4)采集控制点：在既有航测成果中采集像控点三维坐标，像控点沿带状分布；S5)空三平差计算，获取所述关键帧影像的精确的外方位元素值；S6)影像密集匹配，获取物方数字表面模型；S7)根据所述外方位元素值，采用拉格朗日内插算法逐帧计算外方位元素值；S8)在3DGIS系统中建立三维地理场景：在WGS84或GCCS2000椭球上建立三维地理场景，导入地理信息矢量图层；在三维地理场景中添加三维模型、文字标注和图形对象，并设置样式；S9)导入数字表面模型，将三维场景中的背景设置为黑色，仅显示需在视频中叠加的对象或图层；S10)根据所述外方位元素值，在三维场景中逐帧创建视点；S11)在三维场景中，对所述视点逐个进行渲染，获得序列帧信息影像，为所述序列帧信息影像添加透明通道，将黑色部分设置为透明；S12)对步骤10)处理后的信息影像进行镜头畸变变换，获得新的序列帧信息影像；S13)视频合成：将所述新的序列帧信息影像直接叠加到原始视频中，获得叠加了文字注记、图形标注和三维模型的增强现实视频成果。...

【技术特征摘要】
1.一种无人机视频增强现实实现方法，其特征在于，包括以下步骤：S1)采用摄影测量方法进行相机检校，获取相机精确的内方位参数，之后无人机利用所述相机进行带状视频采集，获取关键帧影像；S2)根据飞控或POS系统记录的飞行轨迹和姿态数据内插计算获取所述关键帧影像的初始外方位元素值；S3)建立单航带倾斜影像空三工程：由所述关键帧影像、初始外方位元素值和内方位参数，使用摄影测量空中三角测量方法，建立单航带倾斜影像空三工程；S4)采集控制点：在既有航测成果中采集像控点三维坐标，像控点沿带状分布；S5)空三平差计算，获取所述关键帧影像的精确的外方位元素值；S6)影像密集匹配，获取物方数字表面模型；S7)根据所述外方位元素值，采用拉格朗日内插算法逐帧计算外方位元素值；S8)在3DGIS系统中建立三维地理场景：在WGS84或GCCS2000椭球上建立三维地理场景，导入地理信息矢量图层；在三维地理场景中添加三维模型、文字标注和图形对象，并设置样式；S9)导入数字表面模型，将三维场景中的背景设置为黑色，仅显示需在视频中叠加的对象或图层；S10)根据所述外方位元素值，在三维场景中逐帧创建视点；S11)在三维场景中，对所述视点逐个进行渲染，获得序列帧信息影像，为所述序列帧信息影像添加透明通道，将黑色部分设置为透明；S12)对步骤10)处理后的信息影像进行镜头畸变变换，获得新的序列帧信息影像；S13)视频合成：将所述新的序列帧信息影像直接叠加到原始视频中，获得叠加了文字注记、图形标注和三维模型的增强现实视频成果。2.如权利要求1所述的无人机视频增强现实实现方法，其特征在于：所述步骤S1)中所述无人机采用支持2K及以上分辨率摄像功能的消费级多旋翼无人机，所述相机的相对于下视的摆动角度为30°-60°，沿着带状航线匀速飞行。3.如权利要求1所述的无人机视频增强现实实现方法，其特征在于：所述步骤S2)中，获取相机精确的内方位参数的方法如下：(1)无人机...

【专利技术属性】
技术研发人员：赵文，韩祖杰，刘小龙，范登科，王华，宁新稳，黄漪，张恒，宗伟丽，王娇，
申请(专利权)人：中国铁路设计集团有限公司，
类型：发明
国别省市：天津,12