基于改进RANSAC和动态融合的实时视频拼接方法技术

本发明专利技术公开了一种基于改进RANSAC和动态融合的实时视频拼接方法，涉及视频拼接技术领域。本方法在粗匹配点对中顺序选取四对任意三点不共线匹配点，并分别计算其空间相似度，当相似度高于设定阈值时保留该匹配点对，反之，则舍弃，直至检测完所有匹配点对。随后从以上步骤筛选出的匹配点对中，随机选取四对，带入变换模型计算得出单应性矩阵H，随后用此步骤得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点，并将其标记。将上段所述步骤重复N次，提取被标记次数最多的内点，并将其作为最终的匹配点集，用所选取点集中的匹配对重新计算单应性矩阵，从而得到最终的参数估计值及最优单应性矩阵。

Real-time video mosaic method based on improved RANSAC and dynamic fusion

The invention discloses a real-time video mosaic method based on improved RANSAC and dynamic fusion, which relates to the technical field of video mosaic. In this method, four pairs of arbitrary three-point non-collinear matching points are selected in the order of rough matching point pairs, and their spatial similarity is calculated respectively. When the similarity is higher than the set threshold, the matching point pairs are retained, otherwise, they are discarded until all matching point pairs are detected. Then four pairs of matching points selected from the above steps are randomly selected, and the homography matrix H is calculated by introducing the transformation model. Then all other data are tested by the model obtained from this step. If a point is suitable for the estimated model, it is considered to be an interior point and marked. Repeat the steps mentioned in the previous paragraph N times, extract the interior points with the most labeled times, and regard them as the final matching point set. Then recalculate the homography matrix with the matching pairs in the selected point set, and obtain the final parameter estimation value and the optimal homography matrix.

【技术实现步骤摘要】
基于改进RANSAC和动态融合的实时视频拼接方法
本专利技术涉及视频拼接
，具体是一种基于改进RANSAC和动态融合的实时视频拼接方法。
技术介绍
全景图像是由多个图像组成，其视角远大于任一图像，被应用于视频监控、虚拟现实、环境监测等领域。随着数字监控系统的发展，对全景动态图像的实时视频拼接技术提出了更高的要求。构建全景图像的第一步是图像配准。目前的配准方法主要包括基于像素法、变换域法、基于特征法。基于像素的配准方法可以提供准确的配准结果，但由于其庞大的计算量，对于实时性要求较高的拼接系统来说并不实用。基于特征的配准方法由于其鲁棒性高，适应性强，因此被广泛应用于拼接实现中。基于特征的配准方法主要包括特征提取，特征匹配。目前主流的特征提取算法有SIFT算法和SURF算法等。研究结果表明，SURF至少比SIFT快3倍以上，综合性能要优于SIFT算法，因此在实时性要求较高的场合得到了广泛应用。在利用SURF算法提取匹配点对后，需要利用RANSAC算法进一步消除误匹配对，以改善拼接图质量。全景图像生成以后，在重叠区域会有明显的拼接缝，模糊和鬼影。目前主要有两种方法用来解决上述问题。一种方法是融合整个重叠区域，主要包括单线性融合和泊松融合。另一种方法是寻找图像之间的最佳缝合线，如动态规划和图形分割方法。另外还有一些方法将上述两种方法结合起来，并取得了不错的结果。鬼影现象是全景图像拼接中另一个常见的问题，其很难解决。鬼影现象主要分为两类。一类是由运动目标穿过重叠区域造成，另一类是由于两个镜头之间的视差造成。有很多方法可以用来解决第一类鬼影，如多频带融合和梯度域方法等。现有视频拼接方法存在如下缺点：问题1：图像配准阶段，基于像素和变换域的配准方法由于庞大的计算量，对于实时性要求较高的拼接系统来说并不实用，需采用实时性更高的处理方法。问题2：由于受到传感器本身物理性质和外界条件的影响以及摄像头视角的不同，获取的图像间易出现曝光差异，导致全景图拼接处存在明显的拼接缝，为消除拼接缝，需采用一定的方法来对图像进行平滑处理。问题3：受到图像配准和几何变换误差影响，或相邻两幅图像间存在明显的物体位移等其它情况，会使融合结果中出现鬼影现象，极大的降低了拼接图的视觉效果，为获取更好的拼接图，必须对现有融合算法进行改进。
技术实现思路
为了克服上述现有技术的缺点，本专利技术提一种基于改进RANSAC和动态融合的实时视频拼接方法。本专利技术是以如下技术方案实现的：一种基于改进RANSAC和动态融合的实时视频拼接方法，具体步骤如下：(1)提取关键帧SURF特征：首先设定双目摄像头位于同一水平面，且重叠区域约为30％，对首帧图像进行SURF特征检测和匹配，计算出比较稳定和准确的投影变换矩阵；然后将这个投影变换关系应用到后续的帧图像的拼接中，以一定的时间间隔再进行特征提取、匹配和求取投影变换矩阵，然后又应用到后续一段时间的帧图像拼接中，以此获得最终的准确性较高的实时动态拼接视频；(2)利用改进RANSAC获取最优单应性矩阵：提取SURF特征点后，利用改进的RANSAC算法进行特征点提纯，并计算出最优单应性矩阵H，具体步骤如下：在粗匹配点对中顺序选取四对任意三点不共线匹配点，并分别计算其空间相似度，当相似度高于设定阈值时保留该匹配点对，反之，则舍弃，直至检测完所有匹配点对；随后从以上步骤筛选出的匹配点对中，随机选取四对，带入变换模型计算得出单应性矩阵H，随后用此步骤得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点，并将其标记，将上段所述步骤重复N次，提取被标记次数最多的内点，并将其作为最终的匹配点集，用所选取点集中的匹配对重新计算单应性矩阵，从而得到最终的参数估计值及最优单应性矩阵H；(3)图像动态融合：首先利用背景消除算法提取运动目标并记录其位置；其次，重叠区域的两幅图像中，某一图像的像素应当优于另一个，同时，在其左右边缘处设定一缓冲区，用来避免采用此方法所造成的明度突变，物体所在区域与其周围区域有着显著的不同，对物体所在区域采用动态融合方法进一步的融合。优选的，空间相似度具体计算步骤如下：假设(P1,Q1)、(P2,Q2)、(P3,Q3)、(P4,Q4)为四对匹配点对，Pi和Qi(i＝1,2,3,4)分别表示两帧图中的对应特征点，Pi，Qi任意三点不共线，d(P1,P2)、d(P1，P3)、d(P1，P4)分别表示P1与P2、P3、P4之间的距离，同理，d(Q1,Q2)、d(Q1，Q3)、d(Q1，Q4)分别表示Q1与Q2、Q3、Q4之间的距离，现引入空间相似度当λ<δ时，认为(P1,Q1)匹配度过低，将其判定为误匹配点剔除，反之，则认为(P1,Q1)为正确匹配点，其中δ为设定阈值；以此方法遍历两视频帧中各匹配点对。优选的，动态融合方法步骤具体如下：其中，I1(x,y)代表左图中各像素点信息，I2(x,y)代表右图中各像素点信息，f(x,y)代表融合后图像中各像素点信息，w为重叠区域左边缘至目标左边缘的宽度，i为重叠区域内当前像素点所在列，其值为0～w-1。由于d1、d2区域的颜色分量不同于运动目标，完成上述步骤后，需对d1和d2区域进行进一步融合，融合公式如下所示：j代表重叠区域当前像素所在行，当对d1区域融合时，其值为0～d1-1，当对d2区域融合时，其值为d2-1～0。本专利技术的有益效果：1、针对配准阶段耗时较高问题，采用运算速度更快的SURF算法，同时引入时间间隔，对首帧图像进行SURF特征检测和匹配，计算出比较稳定和准确的投影变换矩阵后，以一定的时间间隔再进行上述操作，以此获得最终的准确性较高的实时动态拼接视频。2、采用改进的RANSAC算法能够比原始RANSAC算法剔除更多的误匹配点，获取准确率更高的内点，这有利于获取更高精度的单应性矩阵。3、采用动态融合的方法，可以极大的消除重叠区域运动目标产生的鬼影问题，改善拼接视频质量。附图说明图1是本专利技术流程框图；图2是含运动目标情况拼接示意图；具体实施方式1、SURF算法原理SURF算法是继SIFT算法后的又一图像不变特征检测算法，除了具有SIFT算法稳定高效的特点外，还极大的降低了SIFT算法复杂度，大大提高了特征检测和匹配的实时性，这也满足了视频拼接系统实时性高的需求，为此本文采用SURF算法进行特征点的检测和匹配。SURF算法主要包括五个步骤：(1)构建积分图像。积分图像是SURF算法的一大特色，其定义为:点x处的积分图像为该点与原点形成的对角点构成的矩形域方框内全部像素值灰度值总和，示意如下：I(x,y)为图像内各像素点信息，IΣ为I的积分图像。(2)建立图像金字塔。SURF利用盒子滤波器与图像进行卷积来建立尺度空间，通过改变盒子滤波器的尺寸来获得不同尺度的图像，从而建立图像金字塔。(3)Hessian矩阵检测极值点。利用Hessian矩阵计算出重叠区域内所有点的特征值。随后在3×3立方体内将检测的特征点与自身尺度层中其余8个点和在其之上及之下的两个尺度层9个点，共26个点进行比较，将极值点保留下来，作为特征点。Hessian矩阵公式如下所示：Det(Hs)＝DxxDyy-(0.9×Dxy)2Det(Hs)代表像素点的Hessian矩阵响应本文档来自技高网...

【技术保护点】
1.一种基于改进RANSAC和动态融合的实时视频拼接方法，其特征在于：具体步骤如下：(1)提取关键帧SURF特征：首先设定双目摄像头位于同一水平面，且重叠区域约为30％，对首帧图像进行SURF特征检测和匹配，计算出比较稳定和准确的投影变换矩阵；然后将这个投影变换关系应用到后续的帧图像的拼接中，以一定的时间间隔再进行特征提取、匹配和求取投影变换矩阵，然后又应用到后续一段时间的帧图像拼接中，以此获得最终的准确性较高的实时动态拼接视频；(2)利用改进RANSAC获取最优单应性矩阵：提取SURF特征点后，利用改进的RANSAC算法进行特征点提纯，并计算出最优单应性矩阵H，具体步骤如下：在粗匹配点对中顺序选取四对任意三点不共线匹配点，并分别计算其空间相似度，当相似度高于设定阈值时保留该匹配点对，反之，则舍弃，直至检测完所有匹配点对；随后从以上步骤筛选出的匹配点对中，随机选取四对，带入变换模型计算得出单应性矩阵H，随后用此步骤得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点，并将其标记，将上段所述步骤重复N次，提取被标记次数最多的内点，并将其作为最终的匹配点集，用所选取点集中的匹配对重新计算单应性矩阵，从而得到最终的参数估计值及最优单应性矩阵H；(3)图像动态融合：首先利用背景消除算法提取运动目标并记录其位置；其次，重叠区域的两幅图像中，某一图像的像素应当优于另一个，同时，在其左右边缘处设定一缓冲区，用来避免采用此方法所造成的明度突变，物体所在区域与其周围区域有着显著的不同，对物体所在区域采用动态融合方法进一步的融合。...

【技术特征摘要】
1.一种基于改进RANSAC和动态融合的实时视频拼接方法，其特征在于：具体步骤如下：(1)提取关键帧SURF特征：首先设定双目摄像头位于同一水平面，且重叠区域约为30％，对首帧图像进行SURF特征检测和匹配，计算出比较稳定和准确的投影变换矩阵；然后将这个投影变换关系应用到后续的帧图像的拼接中，以一定的时间间隔再进行特征提取、匹配和求取投影变换矩阵，然后又应用到后续一段时间的帧图像拼接中，以此获得最终的准确性较高的实时动态拼接视频；(2)利用改进RANSAC获取最优单应性矩阵：提取SURF特征点后，利用改进的RANSAC算法进行特征点提纯，并计算出最优单应性矩阵H，具体步骤如下：在粗匹配点对中顺序选取四对任意三点不共线匹配点，并分别计算其空间相似度，当相似度高于设定阈值时保留该匹配点对，反之，则舍弃，直至检测完所有匹配点对；随后从以上步骤筛选出的匹配点对中，随机选取四对，带入变换模型计算得出单应性矩阵H，随后用此步骤得到的模型去测试所有的其它数据，如果某个点适用于估计的模型，认为它也是局内点，并将其标记，将上段所述步骤重复N次，提取被标记次数最多的内点，并将其作为最终的匹配点集，用所选取点集中的匹配对重新计算单应性矩阵，从而得到最终的参数估计值及最优单应性矩阵H；(3)图像动态融合：首先利用背景消除算法提取运动目标并记录其位置；其次，重叠区域的两幅图像中，某一图像的像素应当优于另一个，同时，在其左右边缘处设定一缓冲区，用来避免采用此方法所造成的明度突变，物体所...

【专利技术属性】
技术研发人员：林健，杨建伟，黄波，史二厅，杨坤，候跃强，
申请(专利权)人：平顶山天安煤业股份有限公司，
类型：发明
国别省市：河南,41