一种面向森林防火的全景拼接方法技术

本发明专利技术公布了一种面向森林防火的全景拼接方法，属于计算机视觉领域，对于输入的当前检测范围的图像序列，该方法通过使用sift特征点从相邻的多幅图像中提取sift特征，使用k‑d算法为每个特征点找到最邻近的匹配特征点，然后使用RANSAC算法找到几何一致的特征匹配来得到图像间的对应矩阵；为了得到更精确的匹配图像，消除复杂大场景全景拼接中常见的畸变问题，使用捆绑调整算法，调整对应矩阵中各个参数后，再使用多波段融合的方法调整整个拼接图像，从而得到更为准确的全景拼接图像。本发明专利技术获得了整个摄像头拍摄区域的全景图，便于后续的图像语义标注以达到降低误警率的目的，本发明专利技术拼接图像数量大，拼接效率较高。

【技术实现步骤摘要】
一种面向森林防火的全景拼接方法
本专利技术属于计算机视觉领域，具体涉及一种面向森林防火的全景拼接方法。
技术介绍
随着国内外图像拼接技术研究的兴起，更多的国内外学界对其研究也逐渐得到发展。在国外，2007年提出了对一组无序图像采用概率模型从而得到顺序图像并且检测出其中的噪声图像，实现了自动拼接图像。随后有人提出了基于sift的图像序列拼接算法，算法通过一个概率模型验证全景图像序列，通过假设图像特征点不变的基础上实现全自动图像拼接。近几年又提出了基于能量谱技术消除拼接后的重影，该技术通过使用人眼更加关注显著特征这一特点，计算图像的灰度提到和能量谱，还原并放大缝隙处的特征点，然后根据人眼视觉特点消除重影。在国内，有人分析了Harris算子的实现原理及其不足，提出了一种改进Harris角点检测算法提取图像的特征点，提高了角点的定位精度，增强了算法抗噪性能，还减少了计算量，图像融合采用的是像素加权的方法，该算法能有效提高配准精确性，具有较好的使用价值。2010提出了基于SURF特征配准的pcb图像拼接算法，在拼接过程中引入SURF配准来完成pcb图像融合，实现了pcb局部小图像间的无缝拼接，成像质量较高。2010年改进了图像拼接算法中的特征点匹配问题，他使用双向顺序搜寻的方法得到图像间的最大相关性角点，有效地提高了图像拼接的精度和速度。从图像拼接理念的提出到现在，图像拼接技术得到了极大的重视和较多的研究，国内外研究者提出并设计了多种多样的图像拼接方法，拼接技术获得了长足的发展。但是目前现有的拼接技术，基本上都是针对近距离以及镜头焦距基本固定的场景。在森林防火中摄像头监测的距离达到了5公里以上，监测范围的变化以及检测场景的复杂为全景拼接带来了各种新的挑战，如摄像头的变焦带来的图像模糊，监测范围内大量植物、山区的相似性引发的特征提取的困难等。通过分析研究全景图像拼接的发展现状可知，图像拼接技术依然面临一些需要解决的问题。
技术实现思路
针对现有技术中存在的上述技术问题，本专利技术提出一种面向森林防火的全景拼接方法，设计合理，克服了现有技术的不足，具有良好的效果。在面向森林防火复杂大场景的全景图像拼接过程中，由于现在要拼接的对象是从摄像头获取的连续图像帧，待拼接图像数量较大，需要匹配速率较快的算法，直接从视频中得到待拼接的图像的话，相邻两帧的图像重叠部分太多，会降低匹配速率，所以本专利技术中每隔N帧来拼接，N的选择由摄像机旋转角度等参数决定，以使相邻两帧图像重叠部分在一半左右为宜；场景复杂，对应的拼接算法时要满足多种场景的拼接，包括森林、天空、道路、湖泊等复杂场景的拼接，这就对算法的配准精度提出了更高的要求；监测距离超过5公里，整个全景包含的区域达到了100平方公里，带来了各种摄像参数和图像质量的变化，使得全景拼接的算法更为复杂。为了实现上述目的，本专利技术采用如下技术方案：1、一种面向森林防火的全景拼接方法，包括如下步骤：步骤1：启动用于森林防火监控的摄像头，将沿特定方向转动过程中获得的视频帧经过预处理后输入给拼接线程，具体包括如下步骤：步骤1.1：启动拼接线程，在拼接线程启动的同时启动预处理线程，裁剪从摄像头中获取的一帧图像的边缘部分；步骤1.2：将步骤1.1预处理完成的一帧图像传送到拼接线程中；步骤2：对预处理后的每一帧图像提取特征点；步骤3：对于相邻图像的每个特征点，使用k-d树算法寻找最邻近的匹配特征点；步骤4：根据步骤3中找到的匹配特征点，用RANSAC算法选取4对特征匹配对求解对应矩阵；步骤5：对于步骤4求出的对应矩阵，利用捆绑调整算法估计具有最小误差的相机参数值，并以此计算出初步的全景拼接图像；步骤6：对于步骤5中所得到的全景拼接图像，使用多波段融合的方法消除拼接缝隙，得到最终的全景拼接图像。优选地，在步骤3中，具体包括如下步骤：步骤3.1：用待拼接图像的左侧的图和待拼接图像的右侧的图的特征初始化k-d树；步骤3.2：对待拼接图像的左侧图中的每个特征执行优先搜索以查找最邻近的匹配特征点。优选地，在步骤4中，具体包括如下步骤：步骤4.1：随机地从所提取的特征点中抽出4对特征点，计算出变换矩阵H，记为模型M；其中，H的形式为：其中，Hij为从图像j向图像i变换时的矩阵；Ki是源图像的相机模型，Ri为向图像i变换时的旋转参数，用对数表示：Rj、Kj是和Ri、Ki形式相同的参数；步骤4.2：根据实际情况设置一个阈值；步骤4.3：计算特征点中所有数据与模型M的误差，并判断误差与阈值的大小；若：判断结果是误差小于阈值，则将误差小于阈值的特征点加入到内点集I中；或判断结果是误差大于阈值，则重复步骤4.3；步骤4.4：判断步骤4.3中内点集I中元素个数与最优内点集I_optimal中元素个数的大小；若：判断结果是步骤4.3中内点集I中元素个数大于最优内点集I_optimal中元素个数，则更新Ioptimal＝I，同时更新迭代次数k；或判断结果是步骤4.3中内点集I中元素个数小于或者等于最优内点集I_optimal中元素个数，则重复步骤4.3-步骤4.4；步骤4.5：判断迭代次数k与总迭代次数K的大小；若：判断结果是迭代次数k大于总迭代次数K，则退出；或判断结果是迭代次数k小于或者等于总迭代次数K，则迭代次数k加1，并重复步骤4.3-步骤4.5，直至迭代次数k大于总迭代次数K。优选地，在步骤6中，具体包括如下步骤：步骤6.1：为每个图像i分配一个加权函数w(x,y)＝w(x)w(y)；其中，从中心到边缘w(x)的值从1到0线性变化；步骤6.2：对加权函数在球形坐标系wi(θ,φ)内重新采样，采样后的加权函数的图像强度的加权总和如公式(1)所示：其中，Iliner(θ,φ)是使用线性融合形成的复合球面图像；上标i是每个需要融合的图像的编号，i的取值范围为[1n]，n是需要融合的图像的总数量；wi(θ,φ)是图像i的权重；θ、分别是图像i的水平和纵向角度参数；Ii(θ,φ)为第i个图像在球形坐标系wi(θ,φ)中的表示；步骤6.3：通过找到图像最有用的点集来初始化每个图像的混合权重，混合权重表示如下：这些最大权值的映射连续混合形成了每个波段的混合权值，所呈现图像的高通版本形式如下：其中，gσ(θ,φ)是标准偏差为σ的高斯分布；*操作符表示卷积；Ii(θ,φ)为第i个图像在球形坐标系wi(θ,φ)中的表示，i的取值范围为[1n]，n是需要融合的图像的总数量；表示第i个图像的高频细节内容；为第i个图像经过高斯滤波后的低频概貌内容；通过模糊这幅图像的最大权值映射，形成融合权值，表示如下：其中，为波长在[0,σ]的波段内的融合权值，gσ(θ,φ)是标准偏差为σ的高斯分布；后续的频段使用低频带通图像和模糊融合权值来融合；步骤6.4：对每个波段，使用对应的融合权值线性合并重叠的图像，如下所示：其中，下标k指的是各个波段；为将i个图像在k个波段上融合后的最终结果；为第i个图像在第k个波段上的融合权值；为图像i在第k个波段上滤波后的图像。这会引起高频段在小范围内的融合,低频段在大范围内的融合。本专利技术所带来的有益技术效果：本专利技术使用特征点匹配时使用RANSAC算法和捆绑调整相结合的算法、多波段融合的算法适应森林防火项目中复杂场景的拼接；本专利技术拼本文档来自技高网...

【技术保护点】
一种面向森林防火的全景拼接方法，其特征在于：包括如下步骤：步骤1：启动用于森林防火监控的摄像头，将沿特定方向转动过程中获得的视频帧经过预处理后输入给拼接线程，具体包括如下步骤：步骤1.1：启动拼接线程，在拼接线程启动的同时启动预处理线程，裁剪从摄像头中获取的一帧图像的边缘部分；步骤1.2：将步骤1.1预处理完成的一帧图像传送到拼接线程中；步骤2：对预处理后的每一帧图像提取特征点；步骤3：对于相邻图像的每个特征点，使用k‑d树算法寻找最邻近的匹配特征点；步骤4：根据步骤3中找到的匹配特征点，用RANSAC算法选取4对特征匹配对求解对应矩阵；步骤5：对于步骤4求出的对应矩阵，利用捆绑调整算法估计具有最小误差的相机参数值，并以此计算出初步的全景拼接图像；步骤6：对于步骤5中所得到的全景拼接图像，使用多波段融合的方法消除拼接缝隙，得到最终的全景拼接图像。

【技术特征摘要】
1.一种面向森林防火的全景拼接方法，其特征在于：包括如下步骤：步骤1：启动用于森林防火监控的摄像头，将沿特定方向转动过程中获得的视频帧经过预处理后输入给拼接线程，具体包括如下步骤：步骤1.1：启动拼接线程，在拼接线程启动的同时启动预处理线程，裁剪从摄像头中获取的一帧图像的边缘部分；步骤1.2：将步骤1.1预处理完成的一帧图像传送到拼接线程中；步骤2：对预处理后的每一帧图像提取特征点；步骤3：对于相邻图像的每个特征点，使用k-d树算法寻找最邻近的匹配特征点；步骤4：根据步骤3中找到的匹配特征点，用RANSAC算法选取4对特征匹配对求解对应矩阵；步骤5：对于步骤4求出的对应矩阵，利用捆绑调整算法估计具有最小误差的相机参数值，并以此计算出初步的全景拼接图像；步骤6：对于步骤5中所得到的全景拼接图像，使用多波段融合的方法消除拼接缝隙，得到最终的全景拼接图像。2.根据权利要求1所述的面向森林防火的全景拼接方法，其特征在于：在步骤3中，具体包括如下步骤：步骤3.1：用待拼接图像的左侧的图和待拼接图像的右侧的图的特征初始化k-d树；步骤3.2：对待拼接图像的左侧图中的每个特征执行优先搜索以查找最邻近的匹配特征点。3.根据权利要求1所述的面向森林防火的全景拼接方法，其特征在于：在步骤4中，具体包括如下步骤：步骤4.1：随机地从所提取的特征点中抽出4对特征点，计算出变换矩阵H，记为模型M；其中，H的形式为：其中，Hij为从图像j向图像i变换时的矩阵；Ki是源图像的相机模型，Ri为向图像i变换时的旋转参数，用对数表示：Rj、Kj是和Ri、Ki形式相同的参数；步骤4.2：根据实际情况设置一个阈值；步骤4.3：计算特征点中所有数据与模型M的误差，并判断误差与阈值的大小；若：判断结果是误差小于阈值，则将误差小于阈值的特征点加入到内点集I中；或判断结果是误差大于阈值，则重复步骤4.3；步骤4.4：判断步骤4.3中内点集I中元素个数与最优内点集I_optimal中元素个数的大小；若：判断结果是步骤4.3中内点集I中元素个数大于最优内点集I_optimal中元素个数，则更新Ioptimal＝I，同时更新迭代次数k；或判断结果是步骤4.3中内点集I中元素个数小于或者等于最优内点集I_optimal中元素个数，则重复步骤4.3-步骤4.4；步骤4.5：判断迭代次数k与总迭代次数K的大小；若：判断结果是迭代次数k大于总迭代次数K，则退出；或判断结果是迭代次数k小于或者等于总迭代次数K，则迭代次数k加1，并重复步骤4.3-步骤4.5，直至迭代次数k大于总迭代次数K。4.根据权利要求1所述的面向森林防火的全景拼接方法，其特征在于：在步骤6中，具体包括...

【专利技术属性】
技术研发人员：房胜，李哲，赵建立，崔建明，刘絮絮，高秀阳，李宾，
申请(专利权)人：山东科技大学，
类型：发明
国别省市：山东,37