一种改进的图像拼接关键帧快速提取方法技术

本发明专利技术公开了一种改进的图像拼接关键帧快速提取方法，其涉及计算机视觉领域。该方法通过图像预处理消除了图像畸变的影响，采用SIFT检测特征点，依据相邻帧特征点匹配率作为图像的相似性度量实现自动提取关键帧，对关键帧图像进行拼接，大幅压缩了序列图像的拼接时间，并用改进的RANSAC算法对初始匹配对进行筛选，并计算出图像间的准确的变换矩阵，从而实现图像配准，最后使用加权平滑的融合方法实现图像的无缝拼接。具有较强的鲁棒性，拼接图像自然、清晰。

An improved method for fast extraction of key frames in image mosaic

The present invention discloses an improved method for fast extraction of key frame of image splicing, which involves the field of computer vision. This method eliminates the effect of image distortion through image preprocessing, feature point detection using SIFT, based on adjacent frame matching feature points as image similarity measure to realize automatic key frame extraction, the key frame mosaic image, substantially reducing the splicing time of image sequences, and use improved RANSAC algorithm to match filter on the initial, and calculate the accurate transformation matrix between images, so as to realize image registration, seamless fusion method finally using weighted smoothing image. It has strong robustness, and the stitching image is natural and clear.

【技术实现步骤摘要】
一种改进的图像拼接关键帧快速提取方法
本专利技术涉及计算机视觉领域，特指一种改进的图像拼接关键帧快速提取方法。
技术介绍
图像拼接是计算机视觉和图像处理领域的研究热点，它是将多幅相互间存在重叠部分的图像序列进行空间匹配对准，经重采样融合后形成一幅包含各图像序列信息的、宽视角场景的、高清晰的新图像。图像配准作为图像拼接技术的关键与核心，它是依据两幅图像重叠区域的一致性求解出图像间的几何变换模型，即将一幅图像经几何模型变化到另一幅图像的坐标平面上并将图像的重叠区域对准。目前，基于特征的图像配准方法是研究的主要趋势，此方法是通过对特征属性的直接比较来实现，即通过两幅图像的特征来判断它们之间的相似程度，该方法不仅计算量较小，而且具有仿射不变性与稳定性等优点。在图像的精确匹配方面，最常用的是RANSAC(RandomSampleConsensus)算法，但是由于初始特征点对的数量往往较多，匹配特征点对的内点比例相对较少，使得RANSAC算法执行效率较低。在车载摄像平台系统中为拍摄道路面图像，相机以固定的倾斜角度和高度安装在车载平台上，不同于全景图拍摄或航拍方式。另外在车辆行驶过程中会采集大量序列图像，按传统方式依次对全部图像拼接，计算量偏大，耗时较长。而且由于车辆行驶过程中变速、转弯、颠簸等因素的影响会导致相机拍摄视角的改变，这些因素都加大了车载摄像平台序列图像的拼接难度。
技术实现思路
本专利技术所要解决的技术问题在于提出一种具有良好的鲁棒性、能够实现高质量的图像拼接的图像拼接关键帧快速提取方法，该方法对车辆直线行驶或转弯变速行驶均可实现快速拼接，具有较强的鲁棒性，拼接图像自然、清晰。本专利技术提出的改进的图像拼接关键帧快速提取方法，其技术方案具体如下，包括如下步骤：第一步，输入原始图像，进行图像预处理；第二步，SIFT特征提取；第三步，特征点的匹配；第四步，自动提取关键帧；第五步，全局配准和融合。作为本专利技术技术方案的进一步改进，所述第一步包括：S1.1对原始序列图像进行镜头畸变校正；S1.2根据车辆的姿态信息和相机的安装参数计算出相机在地面坐标系的旋转矩阵，将图像校正为俯视图；作为本专利技术技术方案的进一步改进，所述第二步包括：S2.1尺度空间极值的检测；利用不同尺度的高斯差分核与图像进行卷积构成高斯差分尺度空间，进而得到多尺度空间内的稳定关键点，D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ)*I(x,y))＝L(x,y,kσ)-L(x,y,σ)(1)其中，k是相邻尺度空间的常数，G(x,y,σ)为尺度可变高斯函数，I(x,y)为图像位于(x,y)的像素值，D(x,y,σ)为高斯差分尺度空间，σ是尺度坐标，L(x,y,σ)是二维图像的尺度空间；检测尺度空间的极值点时，每个采样点和与其同尺度的8个相邻点以及上下相邻尺度的18个点进行比较，将比较得到的极值点作为候选点提取出来；S2.2精确定位极值点；通过拟合三维二次函数精确定位极值点的位置和尺度，并利用Hessian矩阵方法计算去除不稳定的边缘响应点，并过滤对比度特征点；S2.3确定关键点的主方向；选取关键点邻域梯度像素的分布特性为每个关键点指定方向参数，m(x,y)＝((L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2)1/2(4)上述公式(3)和公式(4)分别为关键点(x,y)处梯度的方向和模值公式，m(x,y)为每幅图像L(x,y)在(x,y)点的梯度值，θ(x,y)则为方向，其中L所用的尺度为每个关键点各自所在的尺度；在以关键点为中心的邻域窗口内采样，利用直方图统计邻域像素的梯度方向，直方图峰值为特征点的主方向；S2.4生成特征向量描述子点；首先将坐标轴旋转为关键点的主方向，以确保旋转不变性，然后以关键点为中心取8×8的窗口，并将其分为16个小块，在每个小块的8个方向的梯度直方图上绘制方向的累加值，形成一个种子点；作为本专利技术技术方案的进一步改进，所述第三步包括：根据匹配对之间映射关系的对称性，采用双向互匹配的方法来进行初始匹配；假设有匹配点对由匹配映射可知，存在p、q两点间的映射关系和m为第一幅图像与第二幅图像进行匹配的结果，n为第二幅图像与第一幅图像进行匹配的结果，最终的匹配结果为m与n的交集。作为本专利技术方法的进一步改进，所述第四步包括：定义两帧图像提取SIFT特征点数目分别为Ni、Nj，min(Ni,Nj)视为特征点总样本数allNum，记为allNum＝min(Ni,Nj)，匹配后的特征点数目记为matchNum；定义特征点匹配率为匹配特征点数目占特征点总样本数的比值，记为R，以R值来作为图像相似性的度量，R的表达式为：从而以匹配率R作为图像的相似性度量，通过限定R值的范围来提取关键帧，如果匹配率R过高则增加步长，反之则减少步长；定义Num为输入图像数目，i为图像序号，j为检测两帧图像的次数，h为提取关键帧数，step为检测步长，初始i＝j＝h＝1；图像Ii、Ii+step提取SIFT特征点数目分别为Ni，Ni+step，此时特征点总样本数为allNum＝min(Ni,Ni+step)；限定R的阈值范围在[a,b]之间，其中0＜a＜b＜1，以特征点匹配率R为图像相似性度量，变步长自动提取关键帧的判定条件如下：1)若a≤R≤b，在阈值范围内，步长合适不改变，i＝i+step，j＝j+1，h＝h+1，保存当前匹配特征点对及特征描述子，为后续相邻关键帧特征点匹配做准备；2)若R＞a，低于阈值下限，步长过小应增大，step＝step+1，i＝i+step，j＝j+1；3)若R＜b，高于阈值上限，步长过大应减少，step＝step-1，i＝i+step，j＝j+1；如果满足条件1)则步长合适，提取当前帧为关键帧，继续按当前步长step检测下一帧图像Ni+step，并根据上述条件进行判定，重复操作直至最后一帧，为保证图像具有代表性，最后一帧即便不满足关键帧提取的条件也作为关键帧。作为本专利技术技术方案的进一步改进，所述第五步包括：选取相似变换模型为：式中：s为缩放因子；α为旋转角度；x1和y1为平移量；随机采样次数使用下面的公式表示：其中：t表示模型估计需要的匹配点对数，本专利技术取t＝4；u表示采样的t对匹配点懂事内点的概率，ω表示匹配点为外点的概率；先利用相邻特征点之间的关系对误匹配点进行剔除，再利用RANSAC算法进行提纯并计算变换矩阵H；其中，剔除原理如下：假设(Pi,Qi)和(Pj,Qj)是两两正确的匹配对，pi和Pj的距离d(Pi,Pj)相似于Qi和Qj的距离d(Qi,Qj)，利用Pi与第一幅图像中所有兴趣点Pj的关系和Qi与第二幅图像中所有兴趣点Qj的相似性来评价两点的对应关系，提出如下评价函数：其中：D(i,j)＝[d(Pi,Pj)+d(Qi,Qj)]/2是Pi和Qi与每对兴趣点的平均距离；r(i,j)＝exp(-uij)，uij＝|d(Pi,Pj)-d(Qi,Qj)|/D(i,j)是Pi和Qi与每对兴趣点距离的相对差异；其中，RANSAC算法步骤如下：(1)计算评价函数ω(i)的所有值；(2)求出所有的ω(i)的均值σ；(3)对ω(i)进行判断，如果ω(i)＞0.8ω，Pi和Qi作为正确的匹配点保留，否则删除；(本文档来自技高网...

【技术保护点】
一种改进的图像拼接关键帧快速提取方法，其特征在于，包括以下五个步骤，第一步，输入原始图像，进行图像预处理；第二步，SIFT特征提取；第三步，特征点的匹配；第四步，自动提取关键帧；第五步，全局配准和融合。

【技术特征摘要】
1.一种改进的图像拼接关键帧快速提取方法，其特征在于，包括以下五个步骤，第一步，输入原始图像，进行图像预处理；第二步，SIFT特征提取；第三步，特征点的匹配；第四步，自动提取关键帧；第五步，全局配准和融合。2.根据权利要求1所述的一种改进的图像拼接关键帧快速提取方法，其特征在于，所述第一步包括：S1.1对原始序列图像进行镜头畸变校正；S1.2根据车辆的姿态信息和相机的安装参数计算出相机在地面坐标系的旋转矩阵，将图像校正为俯视图。3.根据权利要求1所述的一种改进的图像拼接关键帧快速提取方法，其特征在于，所述第二步包括：S2.1尺度空间极值的检测；利用不同尺度的高斯差分核与图像进行卷积构成高斯差分尺度空间，进而得到多尺度空间内的稳定关键点，D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ)*I(x,y))＝L(x,y,kσ)-L(x,y,σ)(1)其中，k是相邻尺度空间的常数，G(x,y,σ)为尺度可变高斯函数，I(x,y)为图像位于(x,y)的像素值，D(x,y,σ)为高斯差分尺度空间，σ是尺度坐标，L(x,y,σ)是二维图像的尺度空间；检测尺度空间的极值点时，每个采样点和与其同尺度的8个相邻点以及上下相邻尺度的18个点进行比较，将比较得到的极值点作为候选点提取出来；S2.2精确定位极值点；通过拟合三维二次函数精确定位极值点的位置和尺度，并利用Hessian矩阵方法计算去除不稳定的边缘响应点，并过滤对比度特征点；S2.3确定关键点的主方向选取关键点邻域梯度像素的分布特性为每个关键点指定方向参数，m(x,y)＝((L(x+1,y)-L(x-1,y))2+(L(x,y+1)-L(x,y-1))2)1/2(4)上述公式(3)和公式(4)分别为关键点(x,y)处梯度的方向和模值公式，m(x,y)为每幅图像L(x,y)在(x,y)点的梯度值，θ(x,y)则为方向，其中L所用的尺度为每个关键点各自所在的尺度；在以关键点为中心的邻域窗口内采样，利用直方图统计邻域像素的梯度方向，选取梯度方向直方图峰值作为特征点的主方向；S2.4生成特征向量描述子点；首先将坐标轴旋转为关键点的主方向，以确保旋转不变性，然后以关键点为中心取8×8的窗口，并将其分为16个小块，在每个小块的8个方向的梯度直方图上绘制方向的累加值，形成一个种子点。4.根据权利要求3所述的一种改进的图像拼接关键帧快速提取方法，其特征在于，所述第三步包括：根据匹配对之间映射关系的对称性，采用双向互匹配的方法来进行初始匹配；假设有匹配点对由匹配映射可知，存在p、q两点间的映射关系p→q和p←q；m为第一幅图像与第二幅图像进行匹配的结果，n为第二幅图像与第一幅图像进行匹配的结果，最终的匹配结果为m与n的交集。5.根据权利要求4所述的一种改进的图像拼接关键帧快速提取方法，其特征在于，所述第四步包括：定义两帧图像提取SIFT特征点数目分别为Ni、Nj，min(Ni,Nj)视为特征点总样本数allNum，记为allNum＝min(Ni,Nj)，匹配后的特征点数目记为matchNum；定义特征点匹配率为匹配特征点数目占特征点总样本数的比值，记为R，以R值来作...

【专利技术属性】
技术研发人员：颜微，马昊辰，
申请(专利权)人：湖南源信光电科技股份有限公司，
类型：发明
国别省市：湖南,43