一种无人飞行器实时图像拼接方法及系统技术方案

本发明专利技术公开了一种无人飞行器实时图像拼接方法及系统，主要解决现有技术中图像拼接实时性差或拼接痕迹明显的问题。该方法包括两个阶段：训练阶段，即无人飞行器执行任务前，采集训练图像并提取训练图像局部特征，构建词汇树；在线阶段，即无人飞行器执行任务过程中，首先获取实地的对地观测图像并提取图像局部特征；其次通过对词汇树的检索快速寻找空间邻近图像，对空间邻近图像进行匹配；接着计算图像间的变换关系，根据变换关系拼接图像；最后，去除拼接接缝。本发明专利技术可实现无人飞行器图像拼接，为使用者提供更宽广的视场范围。同时，本发明专利技术具有实时性强、拼接效果好的优点，适于多领域应用场合需求。

【技术实现步骤摘要】
一种无人飞行器实时图像拼接方法及系统
本专利技术涉及一种无人飞行器实时图像拼接方法及其系统，属于图像处理领域。
技术介绍
无人飞行器搭载的多模态CCD相机对地观测可获得大量航空遥感图像。无人飞行器遥感平台获取图像时，受到无人飞行器飞行高度和数码相机焦距的限制，单张图像很难完全包含感兴趣的区域。为了得到更多目标区域的信息，需要进一步扩大视场范围，可以通过将不同角度获取的图像进行平滑无缝的拼接融合，构造拼接图达到扩展视场范围的目的。在申请号为200810237427.8，专利技术名称为“无控制点图像拼接方法”的专利申请文件中，通过提取序列图像中每幅图像的特征点集，搜索相邻两幅图像之间的特征点的同名点对，利用RANSAC容错算法计算相邻两图像之间的单应变换关系，再利用连乘公式和融合技术得到拼接结果，主要针对视频图像，其中利用连乘公式进行图像拼接是从第1幅图像到第N幅图像依次进行，按照原有序列图像的次序逐幅拼接。上述过程存在如下缺陷：存在误差累积的问题，图像序列中某一对图像的单应矩阵计算中出现的误差将影响其后的每一幅图像，误差的累积会导致后续图像拼接效果较差；上述专利技术针对普遍意义的图像拼接问题，不是无人飞行器图像专用拼接方法，未根据实际应用进行优化。在申请号为201010502908.4，专利技术名称为“低空无人飞行器序列图像拼接方法和系统”的专利申请文件中，采用SURF特征和HARRIS-AFFINE特征结合，提取序列图像中每一幅图像的特征点；采用RANSAC容错算法和对极几何约束对特征点对进行准确匹配，精确计算单应矩阵；采用概率模型验证匹配图像，保留好图像，去除完全偏航等坏图像；根据最小生成树（MinimumSpanningTree）的全局拼接策略获得序列图像的联通次序，避免产生大的累计误差；并采用全局优化方法，调整单应矩阵，使测区内几百张甚至上千张图像无缝拼合在一起。上述过程存在如下缺陷：上述专利技术用于无人飞行器采集序列图像后进行事后的图像拼接，而非无人飞行器采集图像过程中的实时图像拼接；上述专利技术实现的图像拼接为几百张到上千张图像拼合为一张拼接图像，无人飞行器飞行过程中可能会获取数万张或更多的图像，上述专利技术难以支持如此数量级的图像拼接；上述专利技术计算图像之间的匹配点对，对于大量的图像，计算时间耗时长，不能快速实现。在申请号为201110085596.6，专利技术名称为“无人机航拍视频实时全景图拼接方法”的专利申请文件中，利用视频采集卡采集由无人机通过微波通道实时传回基站的图像，对图像序列进行关键帧选择，对关键帧进行图像增强；在图像拼接过程中，首先采用鲁棒性良好的SURF特征检测方法对图像帧的特征检测和帧间匹配；又采用帧到全景的图像变换方式，减少图像连乘累积误差，并结合无人机的GPS位置信息，确定飞行路径在时序上不相邻但在空间上相邻的图像帧，优化帧到全景的变换关系，确定图像重叠区域，实现图像融合和全景图的构建，实现了边飞边拼接的效果；在图像变换时，利用视域上相邻帧信息和空间相邻帧信息，优化图像变换，获得准确的全景图。上述过程存在如下缺陷：上述专利技术计算图像之间的匹配点对，对于大量的图像，计算时间耗时长，不能实时的实现图像拼接；上述专利技术应用GPS位置信息获取空间上相邻的图像帧，而GPS信号易受到干扰或遮挡，此情况下会影响该专利技术的实施效果；上述专利技术未采取手段去除拼接接缝，获得的拼接图像效果差，拼接痕迹明显。本专利技术的目标是克服以上缺陷，设计一种能够实时进行图像拼接的方法。通过使用图像检索的经典方法—词汇树方法，本专利技术可以实现帧率为10Hz的实时图像拼接。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供了一种无人飞行器实时图像拼接方法及系统，解决了现有技术中图像拼接实时性差和拼接痕迹明显的问题。本专利技术的技术解决方案是：一种无人飞行器实时图像拼接方法，包括：用于在无人机执行任务前建立词汇树的训练阶段和在无人机执行任务时，根据词汇树进行图像拼接的在线阶段；所述训练阶段包括以下步骤：（11）采集训练图像并提取训练图像中的训练图像兴趣点；所述训练图像采用视觉传感器进行采集；（12）利用所述训练图像兴趣点的邻域信息描述训练图像，利用训练图像局部信息构造描述子矢量，作为训练图像特征；（13）采用分层聚类法将所述图像特征量化为单词并构建词汇树；所述在线阶段包括以下步骤：（21）提取无人机飞行过程中获得的对地观测图像的兴趣点；并利用观测图像兴趣点的邻域信息描述观测图像，利用观测图像局部信息构造描述子矢量，作为观测图像特征；（22）利用训练阶段获得的词汇树对观测图像特征进行检索获得空间邻近图像；（23）求取观测图像和空间邻近图像中属于同一个单词的特征点对作为匹配点，并形成匹配点集；（24）利用所述匹配点集，计算观测图像到空间邻近图像的基础矩阵获取观测图像与空间邻近图像间的变换模型；（25）进行图像拼接将上述匹配图像进行变形与拼接，获取拼接图像，使用快速插值方法融合上述匹配图像的重叠区域；（26）寻找匹配图像间的拼接线，将经步骤（25）产生拼接图像的拼接线的总评分误差最小化后获得输出图像。所述训练和观测图像特征通过以下任意一种方法获得：（a）首先使用Hessian矩阵行列式计算并搜索三维尺度空间极值得到尺度不变的特征点；接着根据每个特征点周围的圆形区域定义一个特征方向，并根据特征点邻域内的灰度分布提取64维的描述子矢量，作为图像特征；（b）通过比较训练图像或观测图像中在半径为3的Bresenham圆内某些像素的灰度值强度，提取类似于角点的FAST特征点；接着在FAST特征点周围的矩形图像小块中计算BRIEF描述子矢量作为图像特征。（c）通过比较训练图像或观测图像中在半径为3的Bresenham圆内某些像素的灰度值强度，提取类似于角点的FAST特征点；接着将FAST特征点周围的矩形图像小块作为图像特征。所述词汇树通过以下步骤构建：使用所有训练图像的图像特征组成的训练集进行词汇树的无监督训练，定义k为聚类的分叉因子，即每个节点拥有的子节点个数，采用k-means聚类算法或者k-means++聚类算法将初始训练集分为k个聚类；接着将上述过程重复应用于每个聚类，将每个聚类递归分为k个新的子聚类，这样一层层决定树的结构，直到达到预定义的最大层数L。在线阶段的步骤（22）中检索词汇树获取空间邻近图像的方法如下：将当前时刻的观测图像的特征向量从词汇树的根节点开始，与下一层的k个聚类中心比较，选取一个欧氏距离最近的聚类中心，层层向下传播，直到叶节点；使用一个整数来表示沿词汇树向下传播的路径，采用TF-IDF方法进行观测图像与训练图像的相似度评分；选择相似度评分达到预设阈值的数幅训练图像作为当前时刻观测图像的空间邻近图像。在线阶段的步骤（24）中所述的计算基础矩阵的具体方法如下：无人飞行器的摄像机通常为下视垂直对地拍摄，且高度较高，可将地面近似为平面，选择使用RANSAC、PROSAC、BaySAC或GroupSAC算法计算基础矩阵。在线阶段的步骤（25）中所述的快速插值方法的具体方法如下：根据所述匹配图像的每个像素点到拼接图像中心的距离，成比例设置权值，依据该权值将上述匹配图像重叠区域的R、G、B三个通道的像素值分别相加本文档来自技高网...

【技术保护点】
一种无人飞行器实时图像拼接方法，包括：用于在无人机执行任务前建立词汇树的训练阶段；和在无人机执行任务时，根据词汇树进行图像拼接的在线阶段；其特征在于：所述训练阶段包括以下步骤：（11）采集训练图像并提取训练图像中的训练图像兴趣点；所述训练图像采用视觉传感器进行采集；（12）利用所述训练图像兴趣点的邻域信息描述训练图像，利用训练图像局部信息构造描述子矢量，作为训练图像特征；（13）采用分层聚类法将所述图像特征量化为单词并构建词汇树；所述在线阶段包括以下步骤：（21）提取无人机飞行过程中获得的对地观测图像的兴趣点；并利用观测图像兴趣点的邻域信息描述观测图像，利用观测图像局部信息构造描述子矢量，作为观测图像特征；（22）利用训练阶段获得的词汇树对观测图像特征进行检索获得空间邻近图像；（23）求取观测图像和空间邻近图像中属于同一个单词的特征点对作为匹配点，并形成匹配点集；（24）利用所述匹配点集，计算观测图像到空间邻近图像的基础矩阵获取观测图像与空间邻近图像间的变换模型；（25）进行图像拼接将上述匹配图像进行变形与拼接，获取拼接图像，使用快速插值方法融合上述匹配图像的重叠区域；（26）寻找匹配图像间的拼接线，将经步骤（25）产生拼接图像的拼接线的总评分误差最小化后获得输出图像。...

【技术特征摘要】
1.一种无人飞行器实时图像拼接方法，包括：用于在无人飞行器执行任务前建立词汇树的训练阶段；和在无人飞行器执行任务时，根据词汇树进行图像拼接的在线阶段；其特征在于：所述训练阶段包括以下步骤：(11)采集训练图像并提取训练图像中的训练图像兴趣点；所述训练图像采用视觉传感器进行采集；(12)利用所述训练图像兴趣点的邻域信息描述训练图像，利用训练图像局部信息构造描述子矢量，作为训练图像特征；(13)采用分层聚类法将所述图像特征量化为单词并构建词汇树；所述在线阶段包括以下步骤：(21)提取无人飞行器飞行过程中获得的对地观测图像的兴趣点；并利用观测图像兴趣点的邻域信息描述观测图像，利用观测图像局部信息构造描述子矢量，作为观测图像特征；(22)利用训练阶段获得的词汇树对观测图像特征进行检索获得空间邻近图像；(23)求取观测图像和空间邻近图像中属于同一个单词的特征点对作为匹配点，并形成匹配点集；具体为：利用直接索引保存所有对地观测图像中每幅图像所含单词的列表，以及关联于每个单词的图像特征，在计算当前时刻图像和某幅空间邻近图像的图像匹配时，仅求取属于同一个单词的特征点对作为匹配点，用于避免对所述图像间的所有特征进行匹配；当观测图像和空间邻近图像中存在匹配点，则称观测图像和空间邻近图像为匹配图像；(24)利用所述匹配点集，计算观测图像到空间邻近图像的基础矩阵获取观测图像与空间邻近图像间的变换模型；(25)进行图像拼接将上述匹配图像进行变形与拼接，获取拼接图像，使用快速插值方法融合上述匹配图像的重叠区域；(26)寻找匹配图像间的拼接线，将经步骤(25)产生拼接图像的拼接线的总平方误差最小化后获得输出图像。2.根据权利要求1所述的无人飞行器实时图像拼接方法，其特征在于：所述步骤(11)、(12)以及步骤(21)通过以下方法获得：首先使用Hessian矩阵行列式计算并搜索三维尺度空间极值得到尺度不变的特征点；接着根据每个特征点周围的圆形区域定义一个特征方向，并根据特征点邻域内的灰度分布提取64维的描述子矢量，作为图像特征。3.根据权利要求1所述的无人飞行器实时图像拼接方法，其特征在于：所述步骤(11)、(12)以及步骤(21)通过以下方法获得：通过比较训练图像或观测图像中在半径为3的Bresenham圆内某些像素的灰度值强度，提取FAST特征点；接着在FAST特征点周围的矩形图像小块中计算BRIEF描述子矢量作为图像特征。4.根据权利要求1所述的无人飞行器实时图像拼接方法，其特征在于：所述步骤(11)、(12)以及步骤(21)通过以下方法获得：通过比较训练图像或观测图像中在半径为3的Bresenham圆内某些像素的灰度值强度，提取FAST特征点；接着将FAST特征点周围的矩形图像小块作为图像特征。5.根据权利要求1所述的一种无人飞行器实时图像拼接方法，其特征在于：所述词汇树通过以下步骤构建：使用所有训练图像的图像特征组成的训练集进行词汇树的无监督训练，定义k为聚类的分叉因子，即每个节点拥有的子节点个数，采用k-means聚类算法或者k-means++聚类算法将初始训练集分为k个聚类；接着将上述过程重复应用于每个聚类，将每个聚类递归分为k个新的子聚类，这样一层层决定树的结构，直到达到预定义的最大层数L。6.根据权利要求5所述的一种无人飞行器实时图像拼接方法，其特征在于：在线阶段的步骤(22)中检索词汇树获取空间邻近图像的方法如下：将当前时刻的观测图像的特征向量从词汇树的根节点开始，...

【专利技术属性】
技术研发人员：安山，王婷，张宏，张春泽，
申请(专利权)人：航天恒星科技有限公司，
类型：发明
国别省市：北京;11