本发明专利技术属于图像信息处理领域，提供了一种基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法，在全局配准的基础上，针对视频拼接中视差引起的重叠区域结构偏差问题，利用金字塔块匹配方法得到两幅图像在重叠区域的一些图像块的对应关系，并用二维的位移量表示其位置偏差，然后通过能量泛函最小化将离散的位移量扩散到整个图像范围，最后依据得到的位移量对图像做形变操作，得到重叠区域无结构偏差的视频帧。同时，在能量泛函表达式的建立过程中同时考虑到形变操作的帧内和帧间约束，拼接完成的视频在播放时不会出现异常的扭曲和抖动。
【技术实现步骤摘要】
： 本专利技术属于图像信息处理领域，涉及视频拼接方法，尤其涉及基于金字塔块匹配 和泛函优化的拼接视频去结构偏差方法。
技术介绍
图像拼接作为计算机视觉学科的一个重要研宄方向，受到了广泛的关注和深入的 研宄。到目前为止，已有一系列针对不同应用需求的理论和方法被各国学者提出，并取得了 很好的实验效果，其中一些成熟的算法已集成在图像处理领域的商业软件中。因此，可以认 为图像拼接已经是一个较成熟的研宄领域。而对于视频拼接问题，虽然只是处理对象由图 像替换为多路摄像机同步拍摄的视频，但问题的规模和复杂度都急剧提升，限于相关理论 基础和硬件设备的处理能力，对视频拼接的研宄还处在起步阶段。现有的视频拼接方法大 多是某种图像拼接方法在时间维上的简单拓展，对视频拼接问题带来的新特性和约束缺乏 充分的讨论，导致拼接效果不佳。 由于各台摄像机的光心不完全重合，同一场景在不同摄像机拍摄中的成像存在一 定的错位和变形，称这一差别为视差。视差的存在使得通过投影变换映射到同一观察平面 的各路画面并不能完全重合，即存在结构偏差。因此，为了提高每一帧视频画面的拼接质 量，必须消除结构偏差的影响。 现有图像拼接方法通常利用最优拼接缝技术解决这一问题，即避开结构偏差影响 严重的区域，并在最优拼缝附近进行融合操作，得到质量较好的拼接图像。但对于视频拼接 而言，大多数情况下，重叠区域内的场景是动态的，即相邻帧的最优拼缝位置并不一致，由 于视差的影响，若同一块区域的图像总是交替地从不同原始图像中取到，会造成视频画面 的异常闪烁。即使增加时空约束，使前后帧拼缝的位置相对稳定，当有运动物体从拼缝两侧 穿过时，总会存在拼缝无法只进行小幅度调整就可以避开结构偏差的情况。综上，在单幅图 像拼接中被回避的结构偏差问题，会在视频拼接中凸显出来，影响拼接质量。
技术实现思路
： 本专利技术针对视频拼接中重叠区域的结构偏差会影响拼接质量的现实，提出了一种 ，能够在保持视频帧间一致性的 前提下消除结构偏差的影响，完成高质量的视频拼接。本专利技术所采用的策略是通过图像形 变操作，试图消除而不是回避结构偏差，具体方法是在全局配准之后，根据重叠区域块匹配 的结果，对重投影图像进行局部调整。另外，由于引入了形变操作，为确保输出的拼接视频 在播放时不会出现异常的扭曲和晃动，本专利技术在计算形变时增加了帧间约束。 本专利技术首先利用金字塔块匹配方法得到两幅图像在重叠区域的一些图像块的对 应关系，并用二维的位移量表示其位置偏差。然后通过能量泛函最小化，求解得到整个图像 范围的位移量。最后依据每个位置的位移量对图像进行形变操作，得到重叠区域无结构偏 差的视频帧。 具体地，本专利技术采用的技术方案是： -种，其特征在于包括 以下步骤： SI.提取重投影后两幅图像的重叠部分进行金字塔块匹配，得到离散的结构对应 关系和离散点的位移向量； S2.在步骤Sl得到的离散位移向量基础上，综合视频拼接的各项约束，建立形变 扩散的能量泛函，通过最小化能量泛函得到整个图像范围内的位移量； S3.依据步骤S2得到的位移量对输入图像进行形变操作，对形变后的图像进行重 投影和融合，得到当前各视频帧的拼接图像。 进一步地，所述步骤Sl的具体方法包括： SlL建立重投影后两幅图像重叠部分的图像金字塔； 以Is，It表示重投影后两幅图像的重叠部分，首先对I 3和I t进行多尺度的缩放：【主权项】1. 一种，其特征在于包括w 下步骤：51. 提取重投影后两幅图像的重叠部分进行金字塔块匹配，得到离散的结构对应关系 和离散点的位移向量；52. 在步骤S1得到的离散位移向量基础上，综合视频拼接的各项约束，建立形变扩散 的能量泛函，通过最小化能量泛函得到整个图像范围内的位移量；53. 依据步骤S2得到的位移量对输入图像进行形变操作，对形变后的图像进行重投影 和融合，得到当前各视频帖的拼接图像。2. 根据权利要求1所述的， 其特征在于；所述步骤S1的具体方法包括：511. 建立重投影后两幅图像重叠部分的图像金字塔； WL，It表示重投影后两幅图像的重叠部分，首先对I,和It进行多尺度的缩放：其中k为当前层数，L为卷积操作0执行的总次数，且1&。=I,，g。表示方差为0的 高斯核函数，Hk与Wk分别为第k层图像的高度与宽度；对It做同样的操作，建立金字塔 It, 0,It, 1,…It,L;512. 通过逐层块匹配，得到当前观察平面上图像块之间的对应关系； W尺度由大到小，即层数k由L到0的顺序，对每一层的一组对应图像L,k与I,,k运行 块匹配算法，得到当前层的匹配关系，并W二维的位移量("!，"）=於、.("!，"化,,.("!，"；))表 示得到的位置偏差，其中Vk,y(，）与是向量no水平和竖直两个方向上的分量，编 号m= 1，2,…Mk与n= 1，2,…Nk分别为匹配块纵向和横向的位置编号，Mk与Nk分别为第 k层纵向和横向的最大编号；WR, (/"，"）为作为下一层（2m-l,化-1)，（2m-l,化），（2m,化-1) 与（2m，2n)处四对匹配块位移量捜索的初始值，逐层捜索，最终得到原始图像即第0层图像 的块匹配位移量K、.（"V?且有；其中，兵（"vO) 分别为源图像和目标图像的重投影图 像所在观察平面坐标系下各匹配块中屯、的坐标；块匹配的结果是离散的，，将块匹配的结果W如下一维编号形式表示：其中，Pm为匹配块对的数量；513. 将各匹配块中屯、按照已知全局映射关系变换到待变形的原图像坐标系下，并计算 得到原图像坐标下离散的位移量； 为得到Is所对应原始图像I 中每个像素的形变量，需要将观察平面坐标片,，，A,，) 与根据全局配准阶段得到的映射关系映射到的图像坐标上，得到对应的 原始图像坐标（X日，p，y,，p)与（Xt，p，yt，p),此时，中目标位置（Xt，p，yt，p)对应的位移量 巧，=批、，可由下式得到：3.根据权利要求2所述的， 其特征在于；所述步骤S2的具体方法包括：521. 结合块匹配得到的离散先验信息与视频拼接中形变操作需要满足的帖内和帖间 约束，建立需最小化的能量泛函表达式； 对输入图像进行变形操作，需要得到全图范围Q内的位移函数^ = ([/，.，[/1.)，其 中C的两个分量相互独立且计算过程一致，在此统一W标量函数U表示其中之一；函数U需 要满足W下S个约束： (1)U在（Xt，p,yt，p)处的值应该与Up尽可能地接近； (2) 图像内相邻位置的U值应该尽可能地接近； (3) 相邻帖的U值应该尽可能地接近； 其中约束（1)表示在步骤S1通过块匹配得到的离散的位移量先验信息，约束（2)为帖 内位移量的连续性约束，约束（3)为帖间位移量的连续性约束； 约束（1)对应的能量泛函分量为：其中，巧为定义在Q上由Cp网格化插值得到的参考位移函数； 约束（2)对应的能量泛函分量为；综合上述S个约束，需要最小化的总的能量泛函为：522. 根据变分原理，将能量泛函最小化问题转换为偏微分方程的求解； 根据变分原理，依欧拉-拉格朗日巧uler-Language)公式，可将最小化E的问题等价 为如下偏微分方程的求解问题：上述偏微分方程是一个楠圆型二阶偏微分方程； S本文档来自技高网...
【技术保护点】
一种基于金字塔块匹配和泛函优化的拼接视频去结构偏差方法，其特征在于包括以下步骤：S1.提取重投影后两幅图像的重叠部分进行金字塔块匹配，得到离散的结构对应关系和离散点的位移向量；S2.在步骤S1得到的离散位移向量基础上，综合视频拼接的各项约束，建立形变扩散的能量泛函，通过最小化能量泛函得到整个图像范围内的位移量；S3.依据步骤S2得到的位移量对输入图像进行形变操作，对形变后的图像进行重投影和融合，得到当前各视频帧的拼接图像。
【技术特征摘要】
【专利技术属性】
技术研发人员：王炜，李靖，张茂军，熊志辉，徐玮，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。