一种基于改进的SURF算法的实时视频拼接方法技术

本发明专利技术公开了一种实时视频拼接方法，属于视频图像处理技术领域。本发明专利技术的实时视频拼接方法利用相位相关法计算待拼接视频帧图像的重叠区域。对SURF(Speeded UP Robust Features)算法进行了改进，简化了SURF算法中特征点描述子的生成过程并降低了描述子维数，利用改进的SURF算法提取视频帧重叠区域的特征点；提出一种基于特征分块匹配的图像配准方法，对特征点进行匹配，减少了计算量，提高了计算效率，并利用特征分块匹配快速求取图像变换模型；最后提出一种基于相关系数的投影矩阵更新方法，用于更新投影矩阵，防止出现错误的拼接结果。最后对视频帧图像进行融合，从而实现实时视频拼接。

A real time video mosaic method based on improved SURF algorithm

The invention discloses a real-time video mosaic method, which belongs to the technical field of video image processing. The present invention relates to a method for calculating the overlapping area of a video frame image to be spliced by phase correlation method. The SURF (Speeded UP Robust Features) algorithm is improved to simplify the generation process of feature descriptor in SURF algorithm and descriptors to reduce the dimension of feature points extracted overlapping video frames by using the improved SURF algorithm; proposed an image registration method based on feature block matching, matching feature that reduces the amount of computation, improve the computational efficiency, and make use of the characteristic of block matching to calculate the image transform model; finally put forward a method to update the projection matrix based on correlation coefficient, used to update the projection matrix, prevent the stitching result wrong. Finally, the video frame images are fused to realize real-time video mosaic.

【技术实现步骤摘要】

本专利技术涉及一种视频拼接方法，将来自两个摄像头的视频流进行实时拼接，属于图像视频处理

技术介绍
视频拼接是将相互之间有部分重叠区域的多个视频拼接成一段宽视野、高分辨率的全景视频，它是在图像拼接的基础上发展起来的，是图像拼接技术的应用和扩展。视频拼接技术被广泛的应用在智能监控、视频会议、医学显微视频、航拍视频等领域。视频拼接是将多个摄像头拍摄到的视频流拼接成一个全景视频。不同于图像拼接的是视频拼接对时间要求比较高，所以现有的视频拼接方法都考虑到了时间复杂度，但是实时性比较差。ZhengM等人[参见文献ZhengM,ChenX,GuoL.StitchingVideofromWebcams[C].LectureNotesInComputerScience;Proceedingsofthe4thInternationalSymposiumonAdvancesinVisualComputing,PartII,2008:420-429]开发了一个基于摄像头的视频实时拼接系统，该系统只在初始化阶段计算投影矩阵，之后就不再计算投影矩阵，整个过程就利用同一个投影矩阵进行拼接。该系统可以实现实时性，但是算法不稳定，容易出现拼接错误。ZhangH等人[参见文献：ZhangH,ZengW.ForegroundbasedBorderlineAdjustingforRealTimeMulti-CameraVideoStitching[C].FifthInternationalConferenceonImageandGraphics(ICIG),2009:355-360]提出了一种采用前景信息调整边界的算法，对于处理前景物体通常会在拼接边界处产生裂缝有较好的处理效果，但是不能实现实时性。雷中锋[参见文献：雷中锋.视频拼接及在可视化网上购物中的应用[D].北京:北京工业大学,2004]提出了针对多个摄像头的基于视频帧图像不同序列进行加权平均图像拼接算法，运算简单、速度快，但是得到的参数精确性差、误差大，从而使得最终拼接的视频帧图像质量不理想。在图像拼接技术中，基于特征点的拼接方法由于具有稳定性、鲁棒性和精确性等优点而得到广泛应用。但是检测特征点是个耗时的过程，所以在视频拼接中不适合检测每一帧图像的特征点。视频帧图像之间存在空间相关性，可以利用该相关性省去部分帧图像的特征点检测。T.Shimizu等人[参见文献：T.Shimizu,A.YoneyamaandY.Takishima,“Afastvideostitchingmethodformotion-compensatedframesincompressedvideostreams”,InternationalConferenceonConsumerElectronics,2006]给出了一个简化方法，利用相邻帧图像的空间相关性、结合全局运动矢量跟踪特征点，跟踪到的特征点作为后续帧的特征点。张朝伟等人[参见文献：张朝伟,周焰,王耀康,程焱.基于SIFT特征跟踪匹配的视频拼接方法[J].计算机工程与应用.2008,44(10):169-172]通过对相邻帧间特征运动估计得到后续帧的匹配特征，加快了拼接速度，但是也只能达到5帧/秒。基于上述讲到的问题和方法，本文提出一种新的实时视频拼接方法。该方法对现有的视频拼接方法进行三方面的改进：第一是对特征检测SURF算法进行改进，提高特征检测的速度；第二是对特征匹配进行分块匹配，提高特征匹配的效率；第三是利用相关系数实现投影矩阵的更新，得到效率和精度相对较为均衡的效果。通过以上改进，实现了视频的实时拼接。由于图像中往往可以提取出很多特征点，对于视频拼接而言，只需要找到两幅待拼接视频帧的匹配特征点即可，所以本文只对视频帧重叠区域提取特征点，以降低计算量。本文利用吴学文（参见文献：吴学文.一种基于重叠区域SIFT特征点的图像拼接方法[P].中国.102968777.2013-03-13）中的方法计算重叠区域范围。SIFT(Scale-InvariantFeature)算法[参见文献：DavidG.Lowe.DistinctiveImageFeaturesfromScale-InvariantKeypoints[J].InternationalJournalofComputerVision,2004,60(2):91-110]和SURF(SpeededUPRobustFeatures)算法[参见文献：BayH,TuvtellarsT,GoolLVan.SURF:SpeededUPRobustFeatures[C].ConferenceonComputerVision.2006]是常用的两种提取特征点的方法，并且都比较稳定、鲁棒性较好，对光照、旋转等都适用。由于SURF算法比SIFT算法执行速度快，所以在对时间要求严格的视频拼接中，选用SURF算法提取特征点。SURF算法检测特征点是基于尺度空间技术实现的，实现的主要步骤如下：(1)构建尺度空间；(2)尺度空间极值检测；(3)确定特征点方向；(4)生成64维特征点描述符。利用SURF算法检测到的特征点非常多，分布密集，而且步骤(3)和步骤(4)中，均需要计算小波响应。由于本文要实现的是视频实时拼接，所以需要快速的检测特征点和快速的进行特征匹配。SURF算法中耗时较长的两个过程是特征点检测和特征描述子的生成，本文针对这两个过程对SURF算法进行了改进。本专利技术利用改进的SURF算法提取视频帧重叠区域的特征点，利用特征分块匹配法对视频帧进行配准，获得投影矩阵。根据相邻视频帧的相位相关系数更新投影矩阵，从而实现实时视频拼接。
技术实现思路
本专利技术所要解决的技术问题在于克服现有技术不足，提供一种基于改进的SURF算法的视频拼接方法，在保证视频拼接良好性能的同时，提高了视频拼接方法的计算效率和匹配率，实现视频实时拼接。本专利技术具体采用以下技术方案解决上述技术问题：一种基于改进的SURF算法的实时视频拼接方法，其特征在于，包括以下步骤：步骤1、获取两个摄像头首帧图像，利用相位相关系数确定摄像头重叠范围；步骤2、提取相邻帧间重叠区域内的SURF特征点，并建立32维特征描述子；步骤3、将特征点进行分块匹配，求得投影矩阵；步骤4、利用相关系数更新投影矩阵步骤5、帧图像融合，实现视频拼接。进一步地，步骤2具体包括以下步骤：步骤201、计算以特征点为中心，以6为半径的圆形邻域内像素对Haar小波的响应值，并对各响应值进行高斯加权，其中，为特征点所在空间的尺度值，Haar小波的大小为2×2；步骤202、用45°的扇形滑动窗口滑动遍历该圆形邻域，滑动步长为弧度，每滑动一次，就对该窗口内元素的Haar小波响应值累加，得到一个特征子矢量[、、、]和矢量，其中；；步骤203、扇形滑动窗口遍历完整个圆形邻域后，共得到8个特征子矢量和8个Haar小波响应累加值，比较，最大的所对应的方向即为特征点的主方向，即；步骤204、从主方向对应的特征子矢量开始，按Haar响应累加值递减的顺序依次取各个特征子矢量，得到4×8=32维的特征描述子。进一步地，步骤3具体包括以下步骤：步骤301、对待配准图像上半部分的特征点匹配时，只搜索配准本文档来自技高网...

【技术保护点】
一种基于改进的SURF算法的实时视频拼接方法，其特征在于，包括以下步骤：步骤1、、获取两个摄像头首帧图像，利用相位相关系数确定摄像头重叠范围；步骤2、提取相邻帧间重叠区域内的SURF特征点，并建立32维特征描述子；步骤3、将特征点进行分块匹配，求得投影矩阵；步骤4、利用相关系数更新投影矩阵步骤5、帧图像融合，实现视频拼接。

【技术特征摘要】
1.一种基于改进的SURF算法的实时视频拼接方法，其特征在于，包括以下步骤：步骤1、、获取两个摄像头首帧图像，利用相位相关系数确定摄像头重叠范围；步骤2、提取相邻帧间重叠区域内的SURF特征点，并建立32维特征描述子；步骤3、将特征点进行分块匹配，求得投影矩阵；步骤4、利用相关系数更新投影矩阵步骤5、帧图像融合，实现视频拼接。2.如权利要求1所述的一种基于改进的SURF算法的实时视频拼接方法，其特征在于，步骤2具体包括以下步骤：步骤201、计算以特征点为中心，以6为半径的圆形邻域内像素对Haar小波的响应值，并对各响应值进行高斯加权，其中，为特征点所在空间的尺度值，Haar小波的大小为2×2；步骤202、用45°的扇形滑动窗口滑动遍历该圆形邻域，滑动步长为弧度，每滑动一次，就对该窗口内元素的Haar小波响应值累加，得到一个特征子矢量[、、、]和矢量，其中；；步骤203、扇形滑动...

【专利技术属性】
技术研发人员：吴学文，原帅，周燕，刘娜，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32