基于无人机的公路施工现场全景图像高效拼接方法技术

本发明专利技术涉及一种基于无人机的公路施工现场全景图像高效拼接方法通过航拍图像的地理信息坐标和姿态参数修正、关键拼接区域选取、特征点高效匹配、基于最佳缝合线和图像融合的快速图像拼接，解决了无人机在巡航过程中产生的局部坐标系偏差、整幅图像特征点匹配低效率、以及由于动态目标产生的拼接模糊和鬼影问题，具有实时传输图像数据、全局监督、准确度好、效率高、成本低、方便灵活等优点，为实现整个施工现场自动化、智能化的全局安全监督管理奠定了基础。本发明专利技术适用于公路工程施工现场的全局安全监督管理。

Efficient Mosaic Method of Panoramic Image of Highway Construction Site Based on UAV

【技术实现步骤摘要】
基于无人机的公路施工现场全景图像高效拼接方法
本专利技术涉及一种基于无人机的公路施工现场全景图像高效拼接方法。
技术介绍
随着我国交通建设发展进程的加快，交通工程特别是公路工程的施工质量安全事故也呈现出了易发、多发、高发的态势。目前，公路工程施工现场的安全监督管理多采用人工望远镜、安装摄像头等传统手段，存在着自主性差、灵活度低、观测区域有限制且存在观测盲区、受地形影响大、不能实现施工现场的全局统筹管理等缺点。针对上述难题，国内外学者已经开展了基于视觉的工程安全管理方法研究。随着近年来无人机等图像采集硬件设备和计算机视觉、图像处理等软件算法技术的发展，目前已经有一些基于无人机和图像拼接的施工现场全景图像的生成方法，为实现整个施工现场的全局安全监督管理奠定了前期的研究基础。然而，这些方法往往无法在实际工程中得到真正有效的应用。究其原因，首先是无人机在巡航过程中会产生局部坐标系的偏差，如巡航平面内的视角波动，传统方法没有考虑无人机的地理信息坐标和姿态参数修正，从而引起局部图像失真，进而导致在生成全景图时的拼接误差十分明显；其次是由于目前的图像拼接算法大多都是基于整幅图像区域内的特征点匹配进行的，处理效率较低，要实现在实际施工现场多幅高分辨率图像的实时或准实时快速拼接是非常困难的；再者，由于不可避免地受到自然风作用以及施工现场动态目标的跟踪需求，传统方法产生的拼接全景图中多存在模糊以及鬼影。如何针对无人机在巡航过程中的位置和姿态变化，提出一种高效、准确的全景图像拼接方法，是一个亟待解决的问题。
技术实现思路
基于以上不足之处，本专利技术提出一种基于无人机的公路施工现场全景图像高效拼接方法，解决了无人机在巡航过程中产生的局部坐标系偏差、整幅图像特征点匹配低效率、以及由于动态目标产生的拼接模糊和鬼影问题。本专利技术所采用的技术如下：一种基于无人机的公路施工现场全景图像高效拼接方法，步骤如下：步骤一、对无人机采集到的图像进行地理信息和姿态参数提取，基于高斯投影和坐标旋转平移，实现无人机位置信息由地理坐标系到局部坐标系的转换，并根据无人机姿态参数，进行单应性矩阵修正，消除风致振动巡航角偏移导致的图像失真误差；步骤二、将经过地理信息和姿态参数修正后的图像进行相邻两两配对，基于局部像素变化最大值选取特征点的局部关键拼接区域，并基于ORB特征进行关键区域内的特征点匹配；步骤三、基于色彩和几何误差最小原则和重叠区域加权平均，迭代进行相邻图像的最佳缝合线搜索和图像边界分段加权融合算法，消除拼接模糊和鬼影现象，得到最终的全景拼接图像。本专利技术还具有如下技术特征：1、如上所述的步骤一具体包括：步骤一一、利用飞控平台控制无人机飞行方向和速度，保证相邻图像的重叠率保证在50％，实现多幅图像的连续处理；步骤一二、对步骤一一得到的图像进行连续编号，并将提取出的地理信息和姿态参数进行修正，并进行多幅图像单应性矩阵换算和配准；其中，坐标转换的平面直角坐标与地理坐标的高斯-克吕克投影正算公式如下：其中，x,y为平面直角坐标系的横纵坐标，L,B为椭球面地理坐标系的经纬度，s为自赤道起的经线弧长，N,η分别为曲率半径和中间变量，计算公式如下：其中，a为椭球长半轴长，e,e’分别为椭球第一、第二扁率。2、如上所述的步骤二中，关键拼接区域的选取方法为：其中，x,y分别代表了像素在宽度和高度方向上的坐标值，I表示图像灰度值，Ii∩Ii+1表示第i幅和i+1幅图像的重叠区域，重叠率由飞控平台控制在50％。3、如上所述的步骤二中，在完成关键拼接区域选取后，其中ORB特征的提取流程如下：首先以图像上任一像素为圆心，以固定半径在图像上做圆，统计外围圆弧经过的像素的灰度值，然后比较外围圆弧像素与中心点像素的灰度值，统计灰度差值大于设定阈值的个数，并以此作为判断中心像素点是否为候选特征点的依据，圆形模板半径为3像素，将待检测点p同其周围的16个像素点所构成的圆内像素点做比较，判断该圆内是否存在足够多的像素点与p属性不同，如果存在，则p是角点，在灰度图像中，算法是将各点的灰度值与p点进行比较，如果存在n个连续像素点比p点出都亮或者都暗，则p是角点，n＝9，然后在关键点p的周围以一定模式选取N个点对，把这N个点对的比较结果组合起来作为描述子。以关键点p为圆心，以d为半径做圆O，在圆O内某一模式选取N个点对，N可以取512，以关键点为圆心，以关键点和取点区域的质心的连线为X轴建立二维坐标系，当两点相似度大于阈值时，则两点匹配成功。4、如上所述的步骤三中，最佳缝合线的目标优化函数具体为：E(x,y)＝Ecolor(x,y)2+Egeometry(x,y)(4)Ecolor＝ΔIi＝Ii+1-Ii(6)式中，E表示最佳缝合线的目标优化函数，Ecolor表示两幅原始图像上重叠像素点的颜色值之差，Egeometry表示两幅原始图像上重叠像素点的结构差值。Sx,Sy分别表示Sobel梯度算子，Ii,Ii+1分别代表两幅相邻图像，表示卷积运算。5、如上所述的步骤三中图像边界分段加权融合算法，具体步骤如下：式中，(x,y)∈R表示关键拼接区域R中的像素点，f(x,y)代表加权融合后的图像，fi(x,y)代表第i幅原图像，i＝1,2表示连续两幅相邻的需要进行拼接的图像，di(x,y)表示随着像素位置变化而改变的分段加权权重系数，沿图像高度方向呈线性变化，取值范围为0～1，h为关键拼接区域的图像高度。其中，使用分段加权融合算法的优势还在于计算速率快，并且物理意义明确。在待拼接的每幅图像中，距离上幅图像较远的位置(y越接近于h)，与最佳缝合线的距离越近，对应的权重系数越接近1，在图像融合时所起到的作用也越大。在最佳缝合线附近完成图像融合后，可以消除传统方法带来的拼接模糊和鬼影现象。本专利技术的有益效果为：针对无人机在巡航过程中产生的局部坐标系偏差、整幅图像特征点匹配低效率、以及由于动态目标产生的拼接模糊和鬼影问题，通过航拍图像的地理信息坐标和姿态参数修正、关键拼接区域选取和特征点高效匹配、基于最佳缝合线和图像融合的快速图像拼接，实现了施工现场无人机全景高分辨率图像拼接。本方法提升了无人机全景高分辨率图像拼接的计算效率以及拼接结果的准确度，显著降低了传统方法中的人工参与度。本专利技术还能满足施工现场的在线安全监测预警和实时数据处理需求，直接对采集到的图像进行传输拼接，结果输出延迟可低至十秒以下。本专利技术提高了施工现场全局安全监督管理的自动化、智能化程度和准确性，为交通工程施工现场的全局安全监督管理提供了解决方案。附图说明图1为本专利技术的一个实施例的流程图；图2为本专利技术核心算法的流程示意图；图3是本专利技术中步骤二的关键区域选取结果图；图4为本专利技术中步骤二的关键区域内ORB特征点区配结果图；图5为本专利技术中步骤三的最佳缝合线结果图，其中黑色折线代表了相邻两幅图像的最佳缝合线；图6为本专利技术对实施例进行的公路工程施工现场全局高清拼接结果图；图7为本专利技术的消除模糊和鬼影效果图，其中图7(a)为传统方法产生的局部拼接模糊和鬼影图，图7(b)为本专利技术产生的高分辨率结果图。具体实施方式实施例1本实施方式为基于无人机地理信息和姿态参数修正的公路工程施工现场全景图像高效拼接方法，如图1所示，包括：步骤一、对无人机采集到的图像进行地理本文档来自技高网...

【技术保护点】
1.一种基于无人机的公路施工现场全景图像高效拼接方法，其特征在于，步骤如下：步骤一、对无人机采集到的图像进行地理信息和姿态参数提取，基于高斯投影和坐标旋转平移，实现无人机位置信息由地理坐标系到局部坐标系的转换，并根据无人机姿态参数，进行单应性矩阵修正，消除风致振动巡航角偏移导致的图像失真误差；步骤二、将经过地理信息和姿态参数修正后的图像进行相邻两两配对，基于局部像素变化最大值选取特征点的局部关键拼接区域，并基于ORB特征进行关键区域内的特征点匹配；步骤三、基于色彩和几何误差最小原则和重叠区域加权平均，迭代进行相邻图像的最佳缝合线搜索和图像边界分段加权融合算法，消除拼接模糊和鬼影现象，得到最终的全景拼接图像。

【技术特征摘要】
1.一种基于无人机的公路施工现场全景图像高效拼接方法，其特征在于，步骤如下：步骤一、对无人机采集到的图像进行地理信息和姿态参数提取，基于高斯投影和坐标旋转平移，实现无人机位置信息由地理坐标系到局部坐标系的转换，并根据无人机姿态参数，进行单应性矩阵修正，消除风致振动巡航角偏移导致的图像失真误差；步骤二、将经过地理信息和姿态参数修正后的图像进行相邻两两配对，基于局部像素变化最大值选取特征点的局部关键拼接区域，并基于ORB特征进行关键区域内的特征点匹配；步骤三、基于色彩和几何误差最小原则和重叠区域加权平均，迭代进行相邻图像的最佳缝合线搜索和图像边界分段加权融合算法，消除拼接模糊和鬼影现象，得到最终的全景拼接图像。2.根据权利要求1所述的基于无人机的公路施工现场全景图像高效拼接方法，其特征在于，步骤一具体包括：步骤一一、利用飞控平台控制无人机飞行方向和速度，保证相邻图像的重叠率保证在50％，实现多幅图像的连续处理；步骤一二、对步骤一一得到的图像进行连续编号，并将提取出的地理信息和姿态参数进行修正，并进行多幅图像单应性矩阵换算和配准；其中，坐标转换的平面直角坐标与地理坐标的高斯-克吕克投影正算公式如下：其中，x,y为平面直角坐标系的横纵坐标，L,B为椭球面地理坐标系的经纬度，s为自赤道起的经线弧长，N,η分别为曲率半径和中间变量，计算公式如下：其中，a为椭球长半轴长，e,e’分别为椭球第一、第二扁率。3.根据权利要求1或2所述的基于无人机的公路施工现场全景图像高效拼接方法，其特征在于，步骤二中，关键拼接区域的选取方法为：其中，x,y分别代表了像素在宽度和高度方向上的坐标值，I表示图像灰度值，Ii∩Ii+1表示第i幅和i+1幅图像的重叠区域，重叠率由飞控平台控制在50％。4.根据权利要求1或2所述的基于无人机的公路施工现场全景图像高效拼接方法，其特征在于，步骤二中，在完成关键拼接区域选取后，其中ORB特征的匹配方法如下：首先以图像上...

【专利技术属性】
技术研发人员：李顺龙，徐阳，牛皓伟，郭亚朋，李忠龙，焦兴华，鄂宇辉，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23