基于球形校正的无人机实时图像拼接方法技术

本发明专利技术公开了一种基于球形校正的无人机实时图像拼接方法，本方法(1)为了过滤低质量图像，使用模糊度和图像内容量判断并清洗实时帧；(2)为了对图像进行特征描述，对图像创建SIFT特征描述；(3)为了匹配图像间特征，使用暴力遍历方式选出最优匹配特征、并使用RANSAC算法筛选特征匹配关系；(4)为了消除透射变换误差，通过特征匹配关系得到单应性矩阵，并依据单应性矩阵与图像间的几何变换参数，构建得到几何变换参数下的球形校正模型，计算得出校正球；(5)对输入图像进行球形投影变换，使用变换后的图像重新进行特征匹配，完成拼接过程中透射变换误差的消除。射变换误差的消除。射变换误差的消除。

【技术实现步骤摘要】
基于球形校正的无人机实时图像拼接方法


[0001]本专利技术涉及地面无人机图像拼接处理方法，更特别地说，是指一种基于球形校正的无人机实时图像拼接方法。

技术介绍

[0002]随着小型无人机技术的发展成熟，无人机已经广泛的应用于各种领域，如测绘、监察、军事等，尤其是在工业巡检、自然灾害监察、城市安防等方面，无人机图传功能发挥着至关重要的作用。在某些情况下，需要使用无人机对某一区域的态势进行图传观察，而直接拉取无人机视频流的方式不利于对态势进行整体观察和分析，因此需要使用图像拼接技术生成整体态势图。
[0003]无人机图像传输系统一般包括有无人机(UAV)、无线通信设备、以及无人机地面控制站(GCS)，如图1所示。所述UAV上搭载有不同应用需求的传感器，比如用于对地面探测区域进行图像获取的图像传感器，经图像传感器采集到的图像信息经无线通信设备被所述GCS所接收。所述GCS将对接收到的图像信息进行图像增强、图像拼接等处理，最后在GCS的显示设备上显示出探测区域的实景。
[0004]传统的无人机图像拼接技术通常是在无人机完成飞行任务后，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于球形校正的无人机实时图像拼接方法，无人机使用RTMP协议向通信基站、云服务器进行实时推送RTMP数据流，无人机地面控制站接收经云服务器转发的HTTP数据流；其特征在于：无人机地面控制站中的图像处理器按照HTTP数据流中的图像帧的先后顺序顺次进行拼接至最后一帧图像，即从第一帧开始逐一拼接到最后一帧完成一幅全景无人机图像的拼接，具体包括有如下步骤：步骤一，将首帧图像选取作为参考图像；图像处理器首先读取HTTP数据流PIC＝{pic1,pic2,
…
,pic
i
‑1,pic
i
,pic
i+1
,
…
,pic
η
}中的首帧图像，即第1个图像帧pic1，并将所述pic1作为参考图像；然后执行步骤二；将第1个图像帧pic1作为参考图像，从而确定了图像拼接所在的开始位置；不含首帧图像的HTTP数据流，记为待配准图像集PIC
待
，且PIC
待
＝{pic2,
…
,pic
i
‑1,pic
i
,pic
i+1
,
…
,pic
η
}；步骤二，继首帧图像后的当前图像帧作为待配准图像；从待配准图像集PIC
待
＝{pic2,
…
,pic
i
‑1,pic
i
,pic
i+1
,
…
,pic
η
}中读取当前图像帧pic
i
，并将读取的当前图像帧pic
i
作为待配准图像；然后执行步骤三；步骤三，模糊过滤；步骤31，卷积处理；对当前图像帧pic
i
进行像素点和拉普拉斯算子的卷积处理，得到属于pic
i
的像素点－拉普拉斯－卷积和，记为步骤32，模糊过滤判断的负反馈控制；对pic
i
进行模糊过滤计算，即然后采用模糊过滤条件FS来判断是否需要进行过滤；表示对前一图像帧pic
i
‑1进行像素点和拉普拉斯算子的卷积处理，得到的像素点－拉普拉斯－卷积和；若则保留当前图像帧pic
i
，并执行步骤四；若舍弃当前图像帧pic
i
的拼接任务，并选取继pic
i
之后的一帧图像，即pic
i+1
，然后执行步骤二；步骤33，判断是否是最后一图像帧；重复步骤31至步骤32，直至完成PIC
待
中的最后一帧图像，即pic
η
；对最后一帧图像pic
η
进行像素点和拉普拉斯算子的卷积处理，得到属于pic
η
的像素点－拉普拉斯－卷积和，记为对pic
η
进行模糊过滤计算然后采用模糊过滤条件FS来判断是否需要进行过滤；表示对第η
‑
1帧图像pic
η
‑1进行像素点和拉普拉斯算子的卷积处理，得到的像素点－拉普拉斯－卷积和；
若则保留最后一帧图像pic
η
，并执行步骤四；若舍弃最后一帧图像pic
η
的拼接任务，图像拼接结束；PIC
待
＝{pic2,
…
,pic
i
‑1,pic
i
,pic
i+1
,
…
,pic
η
}经模糊过滤处理后得到的粗－拼接图记为PIC
粗
，且，且表示图像帧pic2经模糊过滤处理后的图像帧；表示图像帧pic
i
经模糊过滤处理后的图像帧；表示图像帧pic
i
‑1经模糊过滤处理后的图像帧；表示图像帧pic
i+1
经模糊过滤处理后的图像帧；表示图像帧pic
η
经模糊过滤处理后的图像帧；步骤四，基于SIFT算法的特征提取；使用Python软件的opencv库将图像帧转换为灰度图，记为gpic
i
；使用opencv库中的SIFT特征创建函数来创建属于gpic
i
的特征点集合，记为所述简称为当前帧图像的特征集；同理，图像帧的灰度图，记为gpic2；属于gpic2的特征点集合，记为所述简称为第2帧图像的特征集；同理，图像帧的灰度图，记为gpic
i
‑1；属于gpic
i
‑1的特征点集合，记为所述简称为前一帧图像的特征集；同理，图像帧的灰度图，记为gpic
i+1
；属于gpic
i+1
的特征点集合，记为所述简称为后一帧图像的特征集；同理，图像帧的灰度图，记为gpic
η
；属于gpic
η
的特征点集合，记为所述简称为最后一帧图像的特征集；依据SIFT算法对视频流PIC
粗
中的各个图像帧进行特征提取，得到的帧图像－灰度－特征集记为且然后执行步骤五；步骤五，阈值限定的最近邻距离比率匹配策略；步骤51，计算相邻两图像帧的特征集的欧氏距离；对前一帧图像的特征集和当前帧图像的特征集进行匹配，对和中所有的特征点进行遍历，遍历时计算特征点之间的最近欧氏距离与次近欧氏距离步骤52，计算最近邻距离比率；
计算最近欧氏距离与次近欧氏距离的距离比值，记为且步骤53，图像帧－特征匹配判断；当比率小于比率阈值TT
阈值
时即认为特征匹配；完成特征匹配后的匹配集，记为相邻两图像帧－特征匹配当比率大于等于比率阈值TT
阈值
时即结束前一帧图像的特征集和当前帧图像的特征集的特征匹配；同理可得，对进行相邻两图像帧的特征集匹配，得到相邻两图像帧－特征匹配集合步骤六，随机样本一致性算法；依据随机样本一致性算法对步骤五中的匹配集进行筛选，剔除差匹配，同时得到有效匹配集和单应性矩阵所述模型为一个三...

【专利技术属性】
技术研发人员：曾国奇，牛子凡，范峥，郑丽丽，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：