一种基于光流的视频拼接方法技术

本发明专利技术公开了一种基于光流的视频拼接方法，包括：步骤S1：左右帧图像的读取及预处理；步骤S2：计算左右帧图像的对应公共区域，并对公共区域做密集光流估计；步骤S3：将公共区域的密集光流聚类成三类；步骤S4：对非公共区域进行光流的延伸估计，并将非基准帧按照光流投影到基准帧上构成初步全景图；步骤S5：初步全景图中遮蔽区域的检测与校正；步骤S6：回到步骤S1，读取下一对左右帧图像。本发明专利技术所述方法针对相机方向固定的同步监控视频，通过上述步骤能够准确地找到左右帧图像公共区域间的对应关系，得到效果良好的全景视频，很大程度地弱化了对运动物体造成的模糊和扭曲效果。

【技术实现步骤摘要】
一种基于光流的视频拼接方法
本专利技术涉及视频拼接
，具体地，涉及一种基于光流的、以优化公共区域内运动物体模糊和扭曲效果为目标的一种基于光流的视频拼接方法。
技术介绍
随着科技的日益发展，人们对视频的要求越来越高，其中很重要的一方面则是视野范围。单个摄像机拍摄的视频视野范围过于狭窄，能够呈现出的内容偏少，满足不了人们的需求。所以人们只能调节焦距来获取更大范围的视野，但是焦距的调节会导致图片变得模糊、分辨率下降。后来随着微电子产业的发展，人们专利技术了能够获取更大视野的广角镜头，然而广角镜头一般都比较昂贵，很难普及，同时广角镜头拍摄的视频边缘处易畸变。所以视频拼接技术的出现显得极为需要。视频拼接技术是将多个同时拍摄的具有公共区域的视频拼接成一个视野更大的视频。尤其对于安保方面来说，安保获得的视频监控画面是由多个摄像头拍摄构成，为了监控更加全面，一栋楼可能会多达几十个摄像头，太多零散分布的监控画面给安保人员查看监控带来很大的压力。所以寻找一个将多个具有公共区域的监控视频拼接成一个视频的方法及其重要。现如今视频拼接技术发展很快，虽然能够基本上完成拼接，但是相比于图像拼接技术，视频拼接技术还有很多不足的地方。例如当公共区域含有运动物体时，视频拼接技术很容易导致运动物体出现模糊等问题。2004年，LoweDG在“DistinctiveImageFeaturesfromScale-InvariantKeypoints”提出了尺度不变特征变换(SIFT)技术。2007年，LoweDG等人在《InternationalJournalofComputerVision》中发表了“AutomaticPanoromicImageStitchingusingInvariantFeatures”，此文提出了基于SIFT特征点的图像拼接技术，其主要思想是先提取出需要拼接的两张图的SIFT特征点，再对这些特征点进行匹配，留下匹配相似度大的特征点对，再利用这些特征点对算出两张图之间的变换矩阵H，接着将其中一张图根据变换矩阵H投影到另一张图并进行图像融合以后，得到最终拼接后的全景图，效果良好。此方法得到很多人效仿，一些学者将SIFT特征点换成SURF、Harris等其他特征点来进行匹配，从而得到全景图。随着图像方面拼接成果显著，人们渐渐将此方法运用到视频上，对于固定的多个摄像头来说，由于视频间的变换矩阵H都保持不变，所以只需要最开始算出变换矩阵H，在后续的视频帧中一直沿用此变换矩阵H则可，这种方法很大程度的节省了时间，拼接速度较快，但是没有考虑到视频中出现的运动物体，会影响两帧之间最优的变换矩阵，所以常常会造成运动物体周边严重模糊等效果；另一种视频拼接技术会考虑到每一帧都计算变换矩阵，从而能够将运动物体考虑进去，但是有时相邻两帧变换矩阵改变太大会造成帧间跳动，影响视觉效果。2015年，JiangW等人针对于优化运动物体的效果，提出了空域-时域的局部映射方法，同时融合部分考虑到前后帧的信息提出了3D缝合线融合，此方法能够有效地优化运动物体拼接效果，但是对于左右帧之间光照差异太大、运动物体上能够提取的特征点较少等情况效果很差。
技术实现思路
针对现有技术中存在的上述缺陷，本专利技术的目的是提供一种基于光流的视频拼接方法，能够准确地匹配左右帧的公共区域部分，弱化公共区域内运动物体的模糊和扭曲程度。本专利技术是通过以下技术方案实现的。一种基于光流的视频拼接方法，包括如下步骤：步骤S1：从待拼接的两段视频中读取同步的左右帧图像，并进行预处理；步骤S2：计算左右帧图像对应的公共区域，形成待拼接视频帧之间的公共区域，并对公共区域做密集光流估计；步骤S3：将公共区域的密集光流聚类成三类；步骤S4：对待拼接视频帧之间的非公共区域进行光流的延伸估计，并将非基准帧按照光流投影到基准帧上构成初步全景图；步骤S5：对初步全景图中的遮蔽区域进行检测与校正，得到最终全景图，再将全景图编码成为全景视频；步骤S6：返回步骤S1，读取下一对左右帧图像。优选地，所述待拼接的两段视频之间具有公共区域。优选地，步骤S1中，所述预处理为：对读取到的左右帧图像进行相机参数矫正。优选地，步骤S2中，首先计算出左右图像帧对应的公共区域，然后再计算公共区域间的密集光流；对于待拼接视频之间的公共区域，计算出第一对左右帧图像对应的公共区域，后面的左右帧图像沿用即可。优选地，步骤S3中，对步骤S2中得到的密集光流场聚类成为如下三类：远景区域、地面近景区域和运动物体区域。优选地，所述聚类采用K-means方法。优选地，步骤S4中，非公共区域中光流的获得来源于公共区域，将非公共区域聚类成远景区域和地面近景区域，所述远景区域的光流来源于公共区域中远景区域光流的均值，所述地面近景区域的光流来源于公共区域中地面近景区域光流的均值；非公共区域中的光流求出以后，基于光流将非基准帧映射到基准帧构成初步全景图；在所述初步全景图中，公共区域拼接后的图像像素值取左右帧图像中对应像素点像素值的加权平均，如果公共区域中像素点靠近左边界，则左帧图像像素值的权值越大，反之，则右帧图像像素值的权值越大。优选地，步骤S5中，将初步全景图中公共区域的像素点与基准帧的对应像素点的像素值进行比较，当差值的绝对值大于设定的阈值时，则认为该差值对应的部分为遮蔽区域；使用腐蚀膨胀方法对遮蔽区域进行后处理，得到最终的遮蔽区域；通过参照基准帧对应像素点和初步全景图中该像素周围的像素点，遮蔽区域得到校正，从而将初步全景图转化成为最终全景图；得到校正后的最终全景图后，通过编码得到最终全景视频。优选地，所述基准帧为定位最终全景图视角的帧图像，且在视频处理过程中基准帧保持不变，其他方向的帧图像均为非基准帧。与现有技术相比，本专利技术具有如下的有益效果：1.基于密集光流场来实现公共区域的像素匹配，与使用一个或几个变换矩阵来做公共区域像素匹配相比，对应更准确；2.没有涉及到拼接缝，所以不存在因为运动物体通过拼接缝造成运动物体破裂的问题；3.只需在开始的时候计算左右帧之间的公共区域，接下来的拼接沿用此公共区域即可，有效地节省了计算时间；4.非公共区域计算光流时分成远景区域和地面近景区域两部分进行计算，可以减少计算量；5.非公共区域计算光流时分成远景区域和地面近景区域两部分而不是一部分进行计算，合理的考虑到远景和近景的性质，使得到的光流场更加准确。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术一实施例的方法步骤框图。具体实施方式下面对本专利技术的实施例作详细说明：本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变形和改进，这些都属于本专利技术的保护范围。实施例本实施例提供了一种基于光流的视频拼接方法，所述方法包括如下步骤：步骤一：左右帧图像的读取及预处理；步骤二：计算左右帧图像的对应公共区域，形成待拼接视频的公共区域，并对公共区域做密集光流估计；步骤三：将公共区域的密集光流聚类成三类；步骤四：对非公共区域进行光流的延伸估计，并将非基准帧按照光流投影到基准帧上构成初步全景图；步骤五：对初本文档来自技高网...

【技术保护点】
1.一种基于光流的视频拼接方法，其特征在于，包括如下步骤：步骤S1：从待拼接的两段视频中读取同步的左右帧图像，并进行预处理；步骤S2：计算左右帧图像对应的公共区域，形成待拼接视频帧之间的公共区域，并对公共区域做密集光流估计；步骤S3：将公共区域的密集光流聚类成三类；步骤S4：对待拼接视频帧之间的非公共区域进行光流的延伸估计，并将非基准帧按照光流投影到基准帧上构成初步全景图；步骤S5：对初步全景图中的遮蔽区域进行检测与校正，得到最终全景图，再将全景图编码成为全景视频；步骤S6：返回步骤S1，读取下一对左右帧图像。

【技术特征摘要】
1.一种基于光流的视频拼接方法，其特征在于，包括如下步骤：步骤S1：从待拼接的两段视频中读取同步的左右帧图像，并进行预处理；步骤S2：计算左右帧图像对应的公共区域，形成待拼接视频帧之间的公共区域，并对公共区域做密集光流估计；步骤S3：将公共区域的密集光流聚类成三类；步骤S4：对待拼接视频帧之间的非公共区域进行光流的延伸估计，并将非基准帧按照光流投影到基准帧上构成初步全景图；步骤S5：对初步全景图中的遮蔽区域进行检测与校正，得到最终全景图，再将全景图编码成为全景视频；步骤S6：返回步骤S1，读取下一对左右帧图像。2.根据权利要求1所述的一种基于光流的视频拼接方法，其特征在于，所述待拼接的两段视频之间具有公共区域。3.根据权利要求1所述的一种基于光流的视频拼接方法，其特征在于，步骤S1中，所述预处理为：对读取到的左右帧图像进行相机参数矫正。4.根据权利要求1所述的一种基于光流的视频拼接方法，其特征在于，步骤S2中，首先计算出左右图像帧对应的公共区域，然后再计算公共区域间的密集光流；对于待拼接视频帧之间的公共区域，计算出第一对左右帧图像对应的公共区域，后面的左右帧图像沿用即可。5.根据权利要求1所述的一种基于光流的视频拼接方法，其特征在于，步骤S3中，对步骤S2中得到的密集光流场聚类成为如下三类：远景区域、地面近景区域和运动物体区域。6.根据权利要求5所述的一种基于光流的视频拼接...

【专利技术属性】
技术研发人员：张小云，谢春梅，杨华，陈立，高志勇，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31