一种多机协同约束下高精度图像拼接方法技术

本发明专利技术公开了一种多机协同约束下高精度图像拼接方法，其从多机协同控制角度出发，基于多无人机的空间位姿信息，构建多尺度多视角图像拼接模型。针对单一单应性矩阵存在重影、像素断裂等现象，提出自适应单应性矩阵方法改善拼接效果。对于同一重叠区域模糊和拼接后色彩不一致问题，采用加权平滑算法，通过权值分配实现重叠部分图像平滑过渡，有效解决拼接重合附近的色差问题。利用自备航拍数据集进行算法性能验证，实验结果表明，本发明专利技术所提方法具有良好的拼接性能，配准精度明显提高，满足多机协同巡视飞行过程中对多尺度多视角航拍图像拼接高实时性及高精度的要求。

【技术实现步骤摘要】
一种多机协同约束下高精度图像拼接方法
本专利技术涉及图像数据处理
，尤其涉及一种多机协同约束下高精度图像拼接方法。
技术介绍
图像拼接是将同一场景中存在重叠区域的多张图像组合成一幅宽视野、高分辨率完整图像的过程。目前常用的图像配准方法包括基于图像灰度、基于变换域和基于特征的方法。其中基于特征的匹配方法应用较为广泛,包括基本的HOG(HistogramofOrientedGradients，方向梯度直方图)特征、SIFT(Scale-InvariantFeatureTransform，尺度不变特征变换)算法、SURF(SpeededUpRobustFeatures，加速鲁棒性特征)算法及ORB(OrientedFASTandRotatedBRIEF，快速特征点提取和描述算法)等改进算法。而HOG特征对图像几何和光学形变具有不变性、鲁棒性强,但实时性差、对噪点敏感，且对于遮挡问题处理比较困难；SIFT算法鲁棒性强、可靠性高，但计算量大，不能满足拼接实时性需求；SURF算法匹配速度快、运行效率高,但在尺度不变性、旋转不变性等性能上表现不够理想；ORB算法计算速度快，其运行时间远远优于SIFT和SURF，实时性性能良好，且对于噪声及其透视变换具有不变性。并且专利CN105869120A中公开了一种图像拼接的实时性优化方法，其通过锁定重叠区域以减少特征点的搜索范围，提升拼接速度，该方法注重拼接的高实时性，但拼接质量不高。专利CN108921780A公开了一种无人机航拍序列图像快速拼接方法，该方法稳定性好且冗余信息低，但图像细节信息易丢失，不利于生成高精度拼接结果图。由于相机视角有限且环境复杂，难以实时获取高分辨率、综合性广域结果图，而利用多架无人机搭载多模传感器协同巡视任务区域能大幅提高巡视效率，但使用无人机巡视时仍存在两个问题：一是多机之间的信息共享及通信问题，实现复杂大量数据在极短时间内完成传输，避免信息不同步；二是多机拍摄图像的后处理问题，多机获取的图像信息本身是分离的，且各无人机飞行高度、相对位置和姿态的不同，导致各传感器采集到的航拍图像尺度和视角均不相同。目前，无人机航拍图像拼接方法对于同一平面图像的拼接效果较理想，但多机协同拍摄时常出现多个尺度多个视角图像相互交叉、重叠等情况，且现有算法无法同时满足高实时性和高精度要求。为了解决该问题，如何合理利用多机协同策略，实现多尺度多视角航拍图像的拼接成为目前亟待解决的问题。
技术实现思路
针对上述存在的问题，本专利技术提供一种多机协同约束下高精度图像拼接方法，能够解决多无人机协同巡视过程中数据量大且类型复杂,导致拼接效率低、质量差的问题。本专利技术的核心思路为：首先从多机协同控制角度出发，实时采集航拍图像，选定先各无人机机间拼接、后单机序列帧间拼接的快速拼接方案；再利用ORB特征提取算法，充分考虑多机拍摄条件下，不同尺度、不同视角图像变换关系的区别，构建自适应单应性矩阵完成图像的高精度配准与拼接；最后利用加权平滑算法实现重叠图的平滑过渡，解决拼接得到的大视场图像存在断裂、接缝明显等视觉效果问题，从而提升图像拼接质量。实现本专利技术目的的技术解决方案为：一种多机协同约束下高精度图像拼接方法，其特征在于，包括以下步骤：步骤1：通过多传感器实时采集地面图像并结合多无人机之间的位置、姿态、角度信息，构建多机协同实时图成像模型，从而确定实际成像区域；步骤2：采用ORB方法提取实际成像区域中的原始图像的特征点集，先进行图像粗匹配，再通过随机采样一致性算法对粗匹配结果进行提纯，剔除误匹配点；步骤3：构建自适应单应性矩阵将提纯处理后的图像映射至同一坐标系下进行初步拼接，然后对各序列图像进行时序修正，而后采用加权平滑算法进行色彩校正；步骤4：完成图像拼接后输出结果图像。进一步地，步骤1的具体操作步骤包括：步骤11：对采集到的地面图像数据进行解算处理得到无人机运动参数，实现机体的飞行控制；步骤12：利用多无人机上搭载的惯性导航单元、GPS和气压计来获取无人机姿态角：俯仰角θ、横滚角φ、偏航角和坐标、飞行高度等信息；步骤13：分别建立地面坐标系、机体坐标系、摄像机坐标系和图像坐标系；步骤14：结合无人机姿态角建立机体坐标系与地面坐标系之间的坐标变换关系pg＝Lbpb，建立多机协同实时图成像模型。进一步地，步骤2的具体操作步骤包括：步骤21：选取原始图像中任一像素点S，以S为圆心画一个半径为3pixel的圆，检测落在该圆周上的16个像素点，记邻域圆上16个像素点中的像素灰度满足式(2)的连续像素点个数为h，判断h是否大于预设的阈值εd，若大于则判定S为特征点，且像素满足的灰度值条件为：其中，I(x)为圆周上任意一点的灰度，I(s)为圆心的灰度，εd为灰度差值的阈值，N表示灰度差值；步骤22：对于每个像素点S直接检测其圆周垂直方向I(1)、I(9)和水平方向I(5)、I(13)四个像素位置上的灰度值，统计上述四个位置点I(t)与选取点像素灰度差值大于εd的像素点个数M，即：M＝size(I∈{|I(t)-I(s)|＞εd}),εd＞0(3)；若特征点满足式(3)且M33，则判定S为特征点，否则直接排除此点；步骤23：将一个图像中选出的任一特征点S与其他图像中所有的特征点V计算汉明距离d，并将得到的距离d进行排序，选取距离最近的一个点作为匹配点，建立粗略匹配点对，形成特征点集；步骤24：采用随机采样一致性方法对得到的特征点集进行筛选，最后剔除误匹配点，得到提纯后的匹配特征点集。进一步地，步骤24的具体操作步骤包括：步骤241：在得到的特征点集上选取Q个点，根据设定的配准直线模型，计算第一张图像所有特征点P1在第二张图像上的映射点集P*2，且满足映射关系：且m＝1,2,…,Q；步骤242：计算各点与第二张图像特征点集P2中对应点的欧氏距离，并设定特征点灰度差值的阈值为δ，统计P*2中满足欧氏距离小于δ的特征点的个数NT:步骤243：重新随机选取Q个点，重复执行K次步骤241-242，并记录每次NT的值，直至迭代结束；步骤244：选取N＝max(NTk(k＝1,2,…,K))配准模型作为最终拟合结果，从而剔除误匹配点。进一步地，步骤3的具体操作步骤包括：步骤31：采用移动DLT方法，根据所述提纯后的多组匹配目标点对的坐标值，实现对自适应单应性矩阵的线性拟合；步骤32：采用经单应性变换后的图像中心点位置对多无人机航拍图像序列进行时序修正且对应图像的时序移动参数flago的取值为：其中，Pox是第o张经单应性变换后图像的中心点x坐标,L是基准图像的宽度；步骤33：遍历图像序列的每一帧，根据flago的不同取值，进行修正：当flago为1时，使用待拼接图像的后一帧进行拼接，当flago为-1时，使用待拼接图像的前一帧进行拼接，直至flago为0时，输出修正后本文档来自技高网...

【技术保护点】
1.一种多机协同约束下高精度图像拼接方法，其特征在于，包括以下步骤：/n步骤1：通过多传感器实时采集地面图像并结合多无人机之间的位置、姿态、角度信息，构建多机协同实时图成像模型，从而确定实际成像区域；/n步骤2：采用ORB方法提取实际成像区域中的原始图像的特征点集，先进行图像粗匹配，再通过随机采样一致性算法对粗匹配结果进行提纯，剔除误匹配点；/n步骤3：构建自适应单应性矩阵将提纯处理后的图像映射至同一坐标系下进行初步拼接，然后对各序列图像进行时序修正，而后采用加权平滑算法进行色彩校正；/n步骤4：完成图像拼接后输出结果图像。/n

【技术特征摘要】
1.一种多机协同约束下高精度图像拼接方法，其特征在于，包括以下步骤：
步骤1：通过多传感器实时采集地面图像并结合多无人机之间的位置、姿态、角度信息，构建多机协同实时图成像模型，从而确定实际成像区域；
步骤2：采用ORB方法提取实际成像区域中的原始图像的特征点集，先进行图像粗匹配，再通过随机采样一致性算法对粗匹配结果进行提纯，剔除误匹配点；
步骤3：构建自适应单应性矩阵将提纯处理后的图像映射至同一坐标系下进行初步拼接，然后对各序列图像进行时序修正，而后采用加权平滑算法进行色彩校正；
步骤4：完成图像拼接后输出结果图像。


2.根据权利要求1所述的一种多机协同约束下高精度图像拼接方法，其特征在于，步骤1的具体操作步骤包括：
步骤11：对采集到的地面图像数据进行解算处理得到无人机运动参数，实现机体的飞行控制；
步骤12：利用多无人机上搭载的惯性导航单元、GPS和气压计来获取无人机姿态角：俯仰角θ、横滚角φ、偏航角和坐标、飞行高度等信息；
步骤13：分别建立地面坐标系、机体坐标系、摄像机坐标系和图像坐标系；
步骤14：结合无人机姿态角建立机体坐标系与地面坐标系之间的坐标变换关系pg＝Lbpb，建立多机协同实时图成像模型。


3.根据权利要求1所述的一种多机协同约束下高精度图像拼接方法，其特征在于，步骤2的具体操作步骤包括：
步骤21：选取原始图像中任一像素点S，以S为圆心画一个半径为3pixel的圆，检测落在该圆周上的16个像素点，记邻域圆上16个像素点中的像素灰度满足式(2)的连续像素点个数为h，判断h是否大于预设的阈值εd，若大于则判定S为特征点，且像素满足的灰度值条件为：



其中，I(x)为圆周上任意一点的灰度，I(s)为圆心的灰度，εd为灰度差值的阈值，N表示灰度差值；
步骤22：对于每个像素点S直接检测其圆周垂直方向I(1)、I(9)和水平方向I(5)、I(13)四个像素位置上的灰度值，统计上述四个位置点I(t)与选取点像素灰度差值大于εd的像素点个数M，即：
M＝size(I∈{|I(t)-I(s)|＞εd}),εd＞0(3)；
若特征点满足式(3)且M33，则判定S为特征点，否则直接排除此点；
步骤23：将一个图像中选出的任一特征点S与其他图像中所有的特征点V计算汉明距离d，并将得到的距离d进行排序，选取距离最近的一个点作为匹配点，建立粗略匹配点对，形成特征点集；
步骤24：采用随机采样一致性方法对得到的特征点集进行筛选，最后剔除误匹配点，得到提纯后的匹配特征点集。


4.根据权利要求3所述的一种多机协同约束下高精度图像拼接方法，其特征在于，步骤24的具体操作步骤包括：
步骤241：在得到的特征点集上选取Q个点，根据设定的配准直线模型，计算第一张图像所有特征点P1在第二张图像上的映射...

【专利技术属性】
技术研发人员：席建祥，杨小冈，卢瑞涛，谢学立，陈彤，郭杨，王乐，刘祉祎，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：陕西;61