一种航拍图像的拼接方法技术

本发明专利技术公开了一种航拍图像的拼接方法，包括对航拍图像进行预处理；使用改进后的具有尺度不变性的ORB算法来进行图像配准，生成相邻图像间的变换矩阵；根据变换矩阵使用加权平均法来修正图像的地理位置坐标；根据地理位置信息来完成航拍图像间的拼接；对拼接好的图像进行融合处理，以消除拼接处的差异。本发明专利技术结合位姿信息与改进ORB算法之间各自的优势，能快速、有效地得到低累积误差、具有地理坐标的拼接图像。

【技术实现步骤摘要】
一种航拍图像的拼接方法
本专利技术涉及图像处理领域，具体涉及一种航拍图像的拼接方法。
技术介绍
目前，常用的航拍图像拼接方法是基于图像特征，基于特征的拼接方法对光照、旋转等变化有很好的鲁棒性，所以一直是图像拼接方法研究的主流方向。基于图像特征的方法是基于对图像内容抽象的描述(点、线、轮廓等)，该拼接方法主要是图像配准和图像融合两个步骤，图像配准的过程是根据存在重叠区域的待拼接图像，找出图像之间的变换关系，并且把待拼接的图像都变换到统一的坐标系中；图像融合的目的是为了消除配准后图像可能存在色彩、亮度、拼接线的差异，使得最终得到一幅自然的图像。常用的特征点提取算法有SIFT、SURF以及ORB特征提取算法等，SIFT(ScaleInvariantFeatureTransform)特征提取算法是利用SIFT特征向量来进行特征匹配，该方法对图像旋转、平移、缩放甚至仿射变换等都有很好的不变性，同时对噪声和光线变化都有很强的适应能力，但该算法需要提取的特征点数量多，特征描述子复杂，运算量大，计算时间长；SURF(Speeded-UpRobustFeatures)算法是在SIFT算法上的一种改进，算法步骤基本类似，但采用的方法不一样，该算法取得的效果性能与SIFT算法差不多，特征描述子的维度降低，计算复杂度也大量减少，计算的效率也大大提高，但特征点检测的精度会比SIFT算法稍低，在图像进行尺度、旋转等变换后的匹配稳健性不及SIFT算法；ORB(OrientedFastandRotatedBrief)算法是结合快速角点检测算法(FAST)和BRIEF特征描述子并改进的一种算法，该算法使用FAST来提取特征点，极大地提高了特征点提取的速度，基本能达到实时的要求，但是该算法不具备尺度不变性，稳定性差，误匹配率高。对于航拍图像的拼接方法，还有一种就是基于位姿信息的拼接方法。大部分的无人机都会有导航定位与姿态测量系统(POS,PositionandOrientationSystem)，在飞行的过程中会实时获取无人机的位姿信息(位置坐标、姿态等信息)。基于位姿信息的拼接方法主要是利用图像的坐标信息来进行拼接，该方法具有快速拼接、不累积误差、含有坐标信息等优势，但是由于无人机的承重有限，往往搭载的传感器精度不是很高，这就导致利用该方法拼接后得到的图像具有很大的匹配误差，效果较差。
技术实现思路
为了克服现有技术存在的缺点与不足，本专利技术提供一种航拍图像的拼接方法，本专利技术基于位姿信息和改进的ORB算法对航拍图像进行拼接，该方法首先改进了ORB算法，接着使用改进ORB算法得到拼接图像间的变换关系，再使用该变换关系来修正图像中心点的地理位置信息，最后使用图像的地理位置信息来进行图像拼接。本专利技术采用如下技术方案：一种航拍图像的拼接方法，包括如下步骤：S1对航拍图像进行预处理；S2对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵；S3修正图像的地理位置坐标；S4根据地理位置信息完成航拍图像间的拼接S5对拼接后的图像进行融合处理。进一步的，所述预处理包括图像几何校正和去噪，先根据无人机的姿态角参数来得到旋转矩阵，再根据旋转矩阵建立从地面直角坐标系到像平面坐标系的一系列坐标变换，进一步得到校正前与校正后的图像变换关系，由此来校正航拍图像，使得校正后的图像都处于同一水平面，接着使用中值滤波算法来对图像进行降噪处理。进一步的，所述对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵，该步骤使用了改进ORB算法，具体为：S201使用Hessian检测算子提取图像的特征点；S202采用rBRIEF特征描述子来描述S201的特征点；S203对两幅图像之间的特征点进行粗匹配；S204特征匹配点提纯并得到变换矩阵。所述S201中使用Hessian检测算子提取图像的特征点，具体是在Hessian矩阵行列式响应图像中提取特征点，首先构造Hessian矩阵，并且使用盒子滤波器来近似代替二阶高斯滤波器，计算Hessian矩阵行列式响应图像，接着使用不同尺寸的盒子滤波器来生成不同的尺度空间，然后使用3*3*3领域非最大值抑制方法来进行特征点的定位，最后通过Harr小波响应来确定特征点的方向。所述S204中特征匹配点提纯并得到变换矩阵，采用了GMS算法和PROSAC算法来进行匹配点的提纯，并由匹配点得到图像之间的变换矩阵。所述的步骤S3中修正图像的地理位置坐标，具体为：以第一张图像为基准，将第二张图像的中心点根据图像之间的变换矩阵投影到第一张图像的像素坐标系上；计算地面分辨率及经纬度分辨率，通过第一张图像中心点的位置坐标计算得到第二张图像的中心点位置坐标；通过加权平均方法修正第二张图像的中心点位置坐标；然后以修正后的第二张图像为基准，重复前三个步骤，修正第三张图像的中心点位置坐标，以此类推，直到航带线多张航拍图像的中心点修正完毕。所述S4中根据地理位置信息完成航拍图像间的拼接，具体是将各张航拍图像根据地理位置坐标投影到WGS84坐标系，将大地坐标转换成空间直角坐标，在空间直角坐标中按照坐标进行拼接，然后再将拼接好的图像重新投影回到原图像平面坐标系。所述S5中融合处理采用帽子函数加权平均法，对拼接后图像的重叠区域进行加权平均处理，得到拼接后的图像。进一步的，采用汉明距离为度量进行特征粗匹配。进一步的，所述地理位置坐标包括经纬度及高度信息。进一步的，特征描述子为二进制描述子。本专利技术改进ORB算法相对于现有的ORB算法，主要是在特征点检测与特征匹配点提纯这两个步骤的改进。本专利技术的有益效果：(1)本专利技术针对现有技术中ORB算法不具备尺度不变性，改进ORB算法，使用Hessian检测算子来进行特征点检测，使得算法具有尺度不变性和稳健性，同时在一定程度上保证了原ORB算法的快速性；(2)本专利技术在图像特征匹配点精匹配中，结合GMS算法和PROSAC算法来进行匹配点提纯，能更精准的筛选出正确的特征匹配点。(3)本专利技术结合坐姿信息与改进ORB算法的优势来进行航拍图像的拼接，获得低累积误差、快速的、具有地理坐标的拼接图像方法。附图说明图1是本专利技术的工作流程图；图2是本专利技术使用的ORB算法的工作流程图；图3是本专利技术修正图像位置坐标的流程图。具体实施方式下面结合实施例及附图，对本专利技术作进一步地详细说明，但本专利技术的实施方式不限于此。实施例如图1-图3所示，一种航拍图像的拼接方法，主要基于位姿信息与改进ORB算法对航拍图像进行拼接，如图1所示，具体流程如下：S101：对航拍图像进行预处理，主要包括是图像进行几何校正、去噪和中值滤波。由于传感器造成的几何畸变会比较大，因此在几何校正中主要是针对传感器的外方位元素(位姿信息)来建立校正模型。几何校正中涉及到本文档来自技高网...

【技术保护点】
1.一种航拍图像的拼接方法，其特征在于，包括如下步骤：/nS1对航拍图像进行预处理；/nS2对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵；/nS3修正图像的地理位置坐标；/nS4根据地理位置信息完成航拍图像间的拼接/nS5对拼接后的图像进行融合处理。/n

【技术特征摘要】
1.一种航拍图像的拼接方法，其特征在于，包括如下步骤：
S1对航拍图像进行预处理；
S2对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵；
S3修正图像的地理位置坐标；
S4根据地理位置信息完成航拍图像间的拼接
S5对拼接后的图像进行融合处理。


2.根据权利要求1所述的拼接方法，其特征在于，所述预处理包括图像几何校正和去噪。


3.根据权利要求1所述的拼接方法，其特征在于，S2对预处理后的航拍图像进行图像配准，生成相邻图像间的变换矩阵，该步骤使用改进ORB算法来得到变换矩阵，具体为：
S201使用Hessian检测算子提取图像的特征点；
S202采用rBRIEF特征描述子来描述S201的特征点；
S203对两幅图像之间的特征点进行粗匹配；
S204特征匹配点提纯并得到变换矩阵。


4.根据权利要求3所述的拼接方法，其特征在于，S201中使用Hessian检测算子提取图像的特征点，具体是在Hessian矩阵行列式响应图像中提取特征点：
首先构造Hessian矩阵，并且使用盒子滤波器来近似代替二阶高斯滤波器，计算Hessian矩阵行列式响应图像，接着使用不同尺寸的盒子滤波器来生成不同的尺度空间，然后使用3*3*3领域非最大值抑制方法来进行特征点的定位，最后通过Harr小波响应来确定特征点的方向。


5.根据权利要求3所述的拼接方法，其特...

【专利技术属性】
技术研发人员：王一歌，邱芬鹏，曹燕，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44