【技术实现步骤摘要】
本专利技术涉及叠加显示，具体涉及基于实时slam技术的设计图纸和航拍视频叠加显示方法和系统。
技术介绍
1、航片视频以高空视角观察地面，以大市场俯瞰全局，常用于环境侦察和作业监测，以无人机航片视频为代表。设计图纸是一种平面线画图，产自cad、bim等软件，常用于作业前期的设计规划，广泛应用于土木建筑、城市规划、园林设计等领域。目前，两者是独立隔开的，没有产生关联，设计院按照cad图纸给施工人员布置施工任务，在施工进程中，监理人员通过飞机视频巡航(如无人机巡航)来监控作业进度，已有的技术无法实现道路设计图纸与航拍视频的结合，方案图纸与航拍实景跟踪不稳定。
技术实现思路
1、为了克服上述技术问题，本专利技术的技术方案为一种设计图纸和航拍视频的实时叠加显示方法，包括如下步骤：
2、步骤1，实时获取飞机的视频图像和视频帧的位置信息，逐视频帧，进行后续步骤2-步骤4；
3、步骤2，基于飞机的视频图像和视频帧的位置信息，采用视觉slam算法实时定位视频帧相对于大地坐标系的绝对坐标和绝对姿态角；
4、步骤3，导入带有大地坐标系下绝对坐标和高程信息的数字设计图纸，并将数字设计图纸转换至视频帧坐标系下；
5、步骤4，基于透视反投影技术，将设计图纸反投影到视频帧内，完成叠加显示。
6、进一步，步骤1中通过飞机厂商提供的sdk开发包实时获取飞机的视频图像和视频帧的位置信息，若位置信息是独立且按照固定时间间隔采集的，则与视频帧的时间戳对齐后，内插
7、进一步，步骤2的具体实现方式如下；
8、2.1，通过视频帧的时间，将时间相邻的视频帧构建匹配对；
9、2.2，利用orb方法逐视频帧提取特征点，并与前一帧视频帧进行特征点匹配；
10、2.3，利用连接点进行单应/本质矩阵估计，并对其进行奇异值分解，计算匹配对的相对位姿，并利用影像gps计算初始绝对位姿；
11、2.4，以所有连接点作为观测，利用视频帧位置作为约束，以奇异值分解得到的位姿作为初始值，进行非线性优化，计算精确位姿参数。
12、进一步，设计图纸为dxf格式或shp格式或kml格式文件。
13、进一步，步骤3中将作业区域的平均高程作为设计图纸的高程信息。
14、进一步，反投影计算公式如下：
15、
16、其中，λ表示比例尺，u，v为视频帧内的图像坐标，fx，fy表示x方向与y方向上的焦距，u0和v0表示像主点位置，等号右侧第一个矩阵为视频采集相机的内参矩阵，通过飞机出场时的标定参数获取，或通过步骤2中所述slam算法获取；r，t为视频帧外参矩阵，通过步骤2所述slam算法获取，xw，yw，zw为设计图纸的绝对坐标，通过读取图纸信息获取。
17、本专利技术还提供基于实时slam技术的设计图纸和航拍视频叠加显示系统，包括如下模块：
18、信息获取模块，用于实时获取飞机的视频图像和视频帧的位置信息；
19、slam算法模块，用于基于飞机的视频图像和视频帧的位置信息，采用视觉slam算法实时定位视频帧相对于大地坐标系的绝对坐标和绝对姿态角；
20、坐标转换模块，用于导入带有大地坐标系下绝对坐标和高程信息的数字设计图纸，并将数字设计图纸转换至视频帧坐标系下；
21、显示模块，用于基于透视反投影技术，将设计图纸反投影到视频帧内，完成叠加显示。
22、进一步的，slam算法模块的具体实现方式如下；
23、2.1，通过视频帧的时间，将时间相邻的视频帧构建匹配对；
24、2.2，利用orb方法逐视频帧提取特征点，并与前一帧视频帧进行特征点匹配；
25、2.3，利用连接点进行单应/本质矩阵估计，并对其进行奇异值分解，计算匹配对的相对位姿，并利用影像gps计算初始绝对位姿；
26、2.4，以所有连接点作为观测，利用视频帧位置作为约束，以奇异值分解得到的位姿作为初始值，进行非线性优化，计算精确位姿参数。
27、进一步的，反投影计算公式如下：
28、
29、其中，λ表示比例尺，u，v为视频帧内的图像坐标，fx，fy表示x方向与y方向上的焦距，u0和v0表示像主点位置，等号右侧第一个矩阵为视频采集相机的内参矩阵，通过飞机出场时的标定参数获取，或通过slam算法模块中所述slam算法获取；r，t为视频帧外参矩阵，通过所述slam算法获取，xw，yw，zw为设计图纸的绝对坐标，通过读取图纸信息获取。
30、本专利技术提出一种设计图纸和航拍视频的实时叠加显示技术，让监理人员通过操作航空飞机(如小型无人机)，实时观看地面视频和设计图纸叠加显示效果，直观的对比作业进度和设计图纸之间的差别，更清晰的管理作业进度和风险。
本文档来自技高网...【技术保护点】
1.基于实时SLAM技术的设计图纸和航拍视频叠加显示方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于实时SLAM技术的设计图纸和航拍视频叠加显示方法，其特征在于：步骤1中通过飞机厂商提供的SDK开发包实时获取飞机的视频图像和视频帧的位置信息，若位置信息是独立且按照固定时间间隔采集的，则与视频帧的时间戳对齐后，内插计算出视频帧的位置信息。
3.如权利要求1所述的基于实时SLAM技术的设计图纸和航拍视频叠加显示方法，其特征在于：步骤2的具体实现方式如下；
4.如权利要求1所述的基于实时SLAM技术的设计图纸和航拍视频叠加显示方法，其特征在于：设计图纸为DXF格式或SHP格式或KML格式文件。
5.如权利要求1所述的基于实时SLAM技术的设计图纸和航拍视频叠加显示方法，其特征在于：步骤3中将作业区域的平均高程作为设计图纸的高程信息。
6.如权利要求1所述的基于实时SLAM技术的设计图纸和航拍视频叠加显示方法，其特征在于：反投影计算公式如下：
7.基于实时SLAM技术的设计图纸和航拍视频叠加显示系统，其特
8.如权利要求7所示的基于实时SLAM技术的设计图纸和航拍视频叠加显示系统，其特征在于：SLAM算法模块的具体实现方式如下；
9.如权利要求7所示的基于实时SLAM技术的设计图纸和航拍视频叠加显示系统，其特征在于：反投影计算公式如下：
...【技术特征摘要】
1.基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于，包括如下步骤：
2.如权利要求1所述的基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于：步骤1中通过飞机厂商提供的sdk开发包实时获取飞机的视频图像和视频帧的位置信息，若位置信息是独立且按照固定时间间隔采集的，则与视频帧的时间戳对齐后，内插计算出视频帧的位置信息。
3.如权利要求1所述的基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于：步骤2的具体实现方式如下；
4.如权利要求1所述的基于实时slam技术的设计图纸和航拍视频叠加显示方法，其特征在于：设计图纸为dxf格式或shp格式或kml格式文...
【专利技术属性】
技术研发人员：李迎松，宋孟肖，刘昆波，万炎炎，
申请(专利权)人：北京图知科技有限公司武汉分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。