一种结构保持的宽基线视频拼接方法技术

本发明专利技术涉及一种结构保持的宽基线视频拼接方法，视频帧同步阶段，对输入的宽基线视频提取视频帧，加入缓冲队列并进行帧同步；视频帧配准阶段，针对同步的视频帧，首先采用点匹配、直线匹配和轮廓匹配相结合的三阶段策略进行特征匹配，然后采用结构保持的网格优化模型进行图像变形，综合考虑对准误差、颜色误差和显著性结构求取最优缝合线，生成全景图并初始化拼接模板；视频拼接阶段，结合拼接模板，从缓冲队列中提取同步帧进行逐帧拼接，得到由全景帧组成的全景视频。本发明专利技术利用传统全局单应变换或者局部相似变换的视频拼接方法更加有效，减少了投影畸变和透视畸变，获得更好拼接效果，应用于智能安防监控系统，扩大监控画面视野，提高监控效率。

A wide baseline video stitching method for structure retention

The invention relates to a wide baseline video mosaic method to maintain a structure of the video frame synchronization of video input stage, wide baseline extraction of video frames, adding buffer queue and frame synchronization; video frame registration stage, aiming at video frame synchronization, feature matching and three stage strategy firstly by point matching, line matching and contour matching the combination, then the optimization of image structure preserving mesh deformation, considering the alignment error, color error and significant structure to obtain the optimal suture, panorama stitching and initialize template; video mosaic, mosaic combination template, extract the synchronous frame from the buffer queue by frame consists of stitching, get panoramic panoramic video frame. The video mosaic method based on traditional global homography or local similarity transformation is more effective, which reduces projection distortion and perspective distortion, achieves better splicing effect, and applies it to intelligent security monitoring system, enlarging the monitoring picture vision and improving monitoring efficiency.

【技术实现步骤摘要】
一种结构保持的宽基线视频拼接方法
本专利技术涉及视频拼接技术，更确切的是将多个宽基线视频拼接生成一个全景视频，属于虚拟现实
和计算机图形图像处理领域。
技术介绍
视频拼接技术是指将多个具有重叠部分的视频拼接融合成一个大型的无缝高分辨率的全景视频，同时也是一个日益流行的研究领域，在宇宙空间探索、海底勘测、医学、气象、地址勘探、军事等领域都有广泛的应用。视频拼接技术的核心是图像拼接技术，传统的图像拼接技术严格假设多个相机位置处于同一个固定视点，或场景基本处于一个平面，该两点假设均要求图像中无较大深度变化。若视频图像内容存在较大深度变化，最后获得的全景图中会出现明显伪影，这种目标图像和参考图像之间的不对准通常称之为视差。为解决这种视差图像的拼接，人们开始尝试使用新的对准模型。DHW[1J.Gao,S.J.Kim,andM.S.Brown,“Constructingimagepanoramasusingdual-homographywarping,”inProc.IEEEConf.Comput.Vis.PatternRecognit.,Jun.2011,pp.49–56.]使用两个单应矩阵分别用于远景和近景的对准；SVA[2W.-Y.Lin,S.Liu,Y.Matsushita,T.-T.Ng,andL.-F.Cheong,“Smoothlyvaryingaffinestitching,”inIEEEConf.Comput.Vis.PatternRecognit.,Jun.2011,pp.345–352.]使用平滑变化的仿射矩阵进行不同区域的对准，APAP[3.J.Zaragoza,T.Chin,Q.Tran,M.S.Brown,andD.Suter,“As-projective-as-possibleimagestitchingwithmovingDLT,”IEEETrans.PatternAnal.Mach.Intell.,vol.36,no.7,pp.1285–1298,2014.]将整张图像划分为一个个的网格，对每个网格都单独求取一个最优的单应矩阵。这些方法在一定程度上可以解决较小视差的图像对准，但是当图像基线过大或者纹理变化不够鲜明时则难以奏效。针对宽基线视频的全景拼接通常更具挑战性。在实际的日常生活中，监控相机的位置、朝向、规格等属性差异较大，图像质量相比一般的数码相机又有所不及，甚至还会受到相机周围环境的影响，出现遮挡、污染、光照变化剧烈、图像模糊等情况。面对这种宽基线、大视差、低纹理的输入视频，现有的一些拼接算法均无法达到满意的效果，甚至有些基于传统拼接算法的商业拼接软件直接显示无法拼接。
技术实现思路
本专利技术的技术解决问题：克服现有技术的不足，提供一种结构保持的宽基线视频拼接方法，根据宽基线视频的具体特点，将多个既相互独立又相互关联的视频拼接成一个大型的无缝全景视频，可用于智能安防监控系统，扩大监控画面的视野，提高监控效率。本专利技术的技术解决方案如下：一种结构保持的宽基线视频拼接方法，步骤如下：(1)视频帧同步阶段，将输入的多个宽基线视频分解为一系列的视频帧，并加入各自宽基线视频帧的缓冲队列，然后利用相机之间的时间差信息和各个宽基线视频的时间戳信息进行帧同步，得到同步后的多个宽基线视频；(2)视频帧配准阶段，对同步后的多个宽基线视频的第一帧视频图像调用图像拼接算法生成一个初始的拼接模板，所述图像拼接算法的步骤如下：(21)点匹配、直线匹配、轮廓匹配相结合的三阶段特征匹配：采用基于超像素分割的局部单应模型进行视频帧之间的SIFT特征点匹配，针对特征点匹配中点对数量低于200的低纹理视频帧，引入直线匹配和轮廓匹配，得到匹配的直线采样点和轮廓采样点，将各个阶段得到的点对集合的并集作为最终的匹配结果；(22)结构保持的网格优化：首先为所有待拼接视频帧添加初始网格，定义以网格顶点为自变量的目标函数，目标函数约束匹配点对变换到同一点；然后最小化目标函数，得到最优的网格配置；最后根据初始网格和最优网格的对应关系求取多个仿射矩阵进行图像变形；(23)无缝融合：针对图像变形后的图像对，计算重叠区域的对准误差和颜色差异，对准误差和颜色差异相加得到初始差异图，并将重叠区域的轮廓掩码作用于初始差异图得到最终差异图，在最终差异图上采用图割算法求取累积差异值最小的最优缝合线；(24)提取(22)中的仿射矩阵和(23)中的最优缝合线作为参数初始化拼接模板；(3)视频拼接阶段，每次取出各个宽基线视频的同步帧进行拼接，为加速拼接的效率，需要充分利用上一帧的拼接信息，若宽基线视频内容稳定时，采用已有的拼接模板；若宽基线视频内容变化时，重新进行步骤(2)生成新的拼接模板，最后将输出的全景图的宽基线视频帧序列合成一个新的全景视频。所述步骤(21)的具体过程如下：(211)对各个视频图像进行SIFT特征点匹配，得到匹配图像对；对任一图像对采用SLIC算法进行超像素分割，以超像素为单位对其中的的特征点集合采用DLT算法计算单应矩阵和残差，若残差大于5个像素，则认为该特征点对是内点，得到所有图像对之间的内点集合；(212)若任一图像对之间的内点数量小于200，则引入直线匹配和轮廓匹配，得到匹配的直线采样点和轮廓采样点；(213)将(211)中的内点集合和(212)中的采样点集合一起作为匹配结果，得到最终的匹配点对集合；所述步骤(22)的具体过程如下：(221)为所有待拼接视频帧添加初始网格；(222)定义以将网格顶点集合为自变量的目标函数，目标函数包括以下五个约束项：约束匹配点对变换到相同位置的对准约束项、约束网格相似变换的正则约束项、约束图像尺度保持的尺度约束项、约束直线保持的直线约束项和约束轮廓保持的轮廓约束项；(223)采用共轭梯度法最小化目标函数，得到最优网格配置；(224)根据初始网格和最优网格的顶点对应关系求取多个仿射矩阵进行图像变形。所述步骤(23)的具体过程如下：(231)对变形后的图像对，计算出重叠区域的位置掩码；(232)计算所有匹配点对的对准误差，按照距离的高斯系数加权到重叠区域的每个像素上，得到重叠区域的对准误差，计算重叠区域每个像素的欧氏距离，得到重叠区域的颜色差异。对准误差和颜色差异相加得到重叠区域的初始差异图；(233)计算重叠区域的轮廓掩码，将轮廓掩码作用于(232)得到的初始差异图，得到最终差异图；(234)在(233)得到的最终差异图上采用图割算法求取累计差异值最小的最优缝合线。所述步骤(3)的具体过程如下：(31)提取下一帧同步的视频图像；(32)统计视频图像颜色直方图，计算与上一帧视频图像颜色直方图的像素标准差，若标准差大于20，则进行步骤(2)重新生成拼接模板，否则直接沿用之前的拼接模板；(33)调用拼接模板生成全景帧；(34)将所有全景帧合成一个全景视频。本专利技术与现有技术相比的优点在于：(1)传统的图像拼接技术采用一个全局的单应矩阵来进行图像的配准，无法解决宽基线情况下多个平面的对准，导致最终的全景帧中出现重影和断裂。本专利技术的配准采用点匹配、直线匹配和轮廓匹配相结合的方式，点匹配采用基于超像素分割的局部单应模型，可以有效解决不同平面的配准，直线匹配和轮廓匹配则可以有效弥补低纹理情况下本文档来自技高网...

【技术保护点】
一种结构保持的宽基线视频拼接方法，其特征在于：步骤如下：(1)视频帧同步阶段，将输入的多个宽基线视频分解为一系列的视频帧，并加入各自宽基线视频帧的缓冲队列，然后利用相机之间的时间差信息和各个宽基线视频的时间戳信息进行帧同步，得到同步后的多个宽基线视频；(2)视频帧配准阶段，对同步后的多个宽基线视频的第一帧视频图像调用图像拼接算法生成一个初始的拼接模板，所述图像拼接算法的步骤如下：(21)点匹配、直线匹配、轮廓匹配相结合的三阶段特征匹配：采用基于超像素分割的局部单应模型进行视频帧之间的SIFT特征点匹配，针对特征点匹配中点对数量低于200的低纹理视频帧，引入直线匹配和轮廓匹配，得到匹配的直线采样点和轮廓采样点，将各个阶段得到的点对集合的并集作为最终的匹配结果；(22)结构保持的网格优化：首先为所有待拼接视频帧添加初始网格，定义以网格顶点为自变量的目标函数，目标函数约束匹配点对变换到同一点；然后最小化目标函数，得到最优的网格配置；最后根据初始网格和最优网格的对应关系求取多个仿射矩阵进行图像变形；(23)无缝融合：针对图像变形后的图像对，计算重叠区域的对准误差和颜色差异，对准误差和颜色差异相加得到初始差异图，并将重叠区域的轮廓掩码作用于初始差异图得到最终差异图，在最终差异图上采用图割算法求取累积差异值最小的最优缝合线；(24)提取(22)中的仿射矩阵和(23)中的最优缝合线作为参数初始化拼接模板；(3)视频拼接阶段，每次取出各个宽基线视频的同步帧进行拼接，为加速拼接的效率，需要充分利用上一帧的拼接信息，若宽基线视频内容稳定时，采用已有的拼接模板；若宽基线视频内容变化时，重新进行步骤(2)生成新的拼接模板，最后将输出的全景图的宽基线视频帧序列合成一个新的全景视频。...

【技术特征摘要】
1.一种结构保持的宽基线视频拼接方法，其特征在于：步骤如下：(1)视频帧同步阶段，将输入的多个宽基线视频分解为一系列的视频帧，并加入各自宽基线视频帧的缓冲队列，然后利用相机之间的时间差信息和各个宽基线视频的时间戳信息进行帧同步，得到同步后的多个宽基线视频；(2)视频帧配准阶段，对同步后的多个宽基线视频的第一帧视频图像调用图像拼接算法生成一个初始的拼接模板，所述图像拼接算法的步骤如下：(21)点匹配、直线匹配、轮廓匹配相结合的三阶段特征匹配：采用基于超像素分割的局部单应模型进行视频帧之间的SIFT特征点匹配，针对特征点匹配中点对数量低于200的低纹理视频帧，引入直线匹配和轮廓匹配，得到匹配的直线采样点和轮廓采样点，将各个阶段得到的点对集合的并集作为最终的匹配结果；(22)结构保持的网格优化：首先为所有待拼接视频帧添加初始网格，定义以网格顶点为自变量的目标函数，目标函数约束匹配点对变换到同一点；然后最小化目标函数，得到最优的网格配置；最后根据初始网格和最优网格的对应关系求取多个仿射矩阵进行图像变形；(23)无缝融合：针对图像变形后的图像对，计算重叠区域的对准误差和颜色差异，对准误差和颜色差异相加得到初始差异图，并将重叠区域的轮廓掩码作用于初始差异图得到最终差异图，在最终差异图上采用图割算法求取累积差异值最小的最优缝合线；(24)提取(22)中的仿射矩阵和(23)中的最优缝合线作为参数初始化拼接模板；(3)视频拼接阶段，每次取出各个宽基线视频的同步帧进行拼接，为加速拼接的效率，需要充分利用上一帧的拼接信息，若宽基线视频内容稳定时，采用已有的拼接模板；若宽基线视频内容变化时，重新进行步骤(2)生成新的拼接模板，最后将输出的全景图的宽基线视频帧序列合成一个新的全景视频。2.根据权利要求1所述的一种结构保持的宽基线视频拼接方法，其特征在于：所述步骤(21)的具体过程如下：(211)对各个视频图像进行SIFT特征点匹配，得到匹配图像对；对任一图像对采用SLIC算法进行超像素分割，以超像素为单位对其中的的特征点集合采用D...

【专利技术属性】
技术研发人员：周忠，吴威，曹明军，吕伟，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京,11