基于围绕渐变拼缝区域平面扫描的视频拼接方法技术

本发明专利技术在传统的最优拼缝算法和平面扫描算法基础上，考虑到运行速度和帧间一致性上的要求，针对视频拼接中的视差问题，提出一种基于围绕渐变拼缝区域平面扫描的视频拼接方法。首先，利用已有的摄像机标定信息矫正相邻的两幅视频帧，将二维图像偏移关系简化到一维；然后，基于重叠区域的图像差异和潜在匹配不确定性以及前一帧的拼缝，得到当前帧的拼缝位置；然后，在围绕拼缝的窄带状区域运行平面扫描，得到拼缝位置的水平偏移。最后，将拼缝位置的偏移量线性扩散到重叠区域其他位置，并据此对当前帧图像进行形变并融合，实现了有视差情况下快速高质量的视频拼接。

【技术实现步骤摘要】

： 本专利技术属于图像信息处理领域，涉及视频拼接方法，尤其涉及基于围绕渐变拼缝 区域平面扫描的视频拼接方法。
技术介绍
图像视频拼接是计算机视觉学科的一个重要研宄方向，受到了广泛的关注和深入 的研宄。其中，图像拼接已经是一个较成熟的研宄领域，目前已有一系列针对不同应用需求 的理论和方法被各国学者提出，并取得了良好的实验效果。而视频拼接的问题规模和复杂 度都远高于图像拼接，限于相关理论基础和硬件设备的处理能力，相关研宄还处在起步阶 段。 对于一组已完成配准的图像，传统的图像拼接方法首先在重叠区域选择一条最优 拼缝，然后沿拼缝对图像进行融合完成不同图像之间的平滑过渡。但当源图像之间存在视 差时，即由于各台相机的光心不完全重合造成的同一场景在不同摄像机拍摄中的成像差 异，通过投影变换映射到同一观察平面的各路图像并不能完全重合，即存在结构偏差。为消 除结构偏差，研宄者们提出了包括平面扫描在内的一系列方法。平面扫面方法在寻找最优 拼缝之前先通过多次假设被拍摄场景的深度并比较不同深度下图像的匹配程度，得到重叠 区域局部的深度信息，再根据深度信息投影图像到观察平面，配合后续的拼缝选择和图像 融合，完成带有视差情况下的图像拼接。 与图像拼接相比，视频拼接对算法运行速度的要求较高，且需要相保证相邻帧之 间一致性。图像拼接中的平面扫描方法并不满足上述要求，因此不能直接应用于视频拼接。 而且考虑到图像或视频帧融合时拼缝两侧的图像主要取自不同的源图像，只有靠近拼缝的 区域才会同时用到两幅源图像的信息，因此求解整个重叠区域的深度信息是不必要的。在 视频拼接中有效利用这一点，能够显著加快拼接速度。
技术实现思路
本专利技术针对视频拼接中多摄像机光心不重合造成的视差问题，提出了一种基于围 绕渐变拼缝区域平面扫描的视频拼接方法，其能够在保持视频帧间一致性的前提下消除视 差的影响，完成快速高质量的视频拼接。本专利技术所采用的策略是结合视频拼接中的渐变拼 缝和平面扫描，将平面扫描的范围缩减到拼缝附近的窄带状区域，再将所得拼缝位置的偏 移信息线性扩散到重叠区域的其它部分，据此对视频帧作变形并融合以完成当前帧的拼 接。 本专利技术首先利用已有的摄像机标定信息矫正相邻的两幅视频帧，然后基于重叠区 域的图像信息与前一帧的拼缝，得到当前帧的拼缝位置，再在围绕拼缝的窄带状区域运行 平面扫描，最后根据平面扫描所得结果对图像进行形变并融合。 具体地，本专利技术采用的技术方案是： 一种，包括以下步骤： SI.沿基线方向矫正相邻的两幅视频帧，将两幅图像之间的二维偏移关系简化到 水平方向； S2.在Sl中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定 性的渐变拼缝选择算法； S3.以在S2中得到的渐变拼缝为中心取一定宽度的窄带状区域，在该区域运行平 面扫描算法，得到拼缝位置的像素偏移； S4.将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分，并根据 整个重叠区域的偏移对图像进行形变。 S5.融合重叠区域的图像，并与非重叠区域的图像组合得到当前一组视频帧的拼 接图像。 进一步地，所述步骤Sl的具体方法包括： 对于两台已完成标定的摄像机，其内参数矩阵1，K2，以及两摄像机之间的旋转矩 阵R= 和平移向量T已知，则被拍摄场景中的一点P在两相机坐标系中坐标Xa 与Xe2的关系为 Xci =RXC2+T 图像矫正需要将两相机坐标系变换为新的具有平行光轴的两个虚拟相机坐标系 下，两虚拟相机坐标系的基向量在第一台摄像机坐标系下的表述均为：【主权项】1. 一种，其特征在于包括w下步骤：51. 沿基线方向矫正相邻的两幅视频帖，将两幅图像之间的二维偏移关系简化到水平 方向；52. 在S1中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定性的 渐变拼缝选择算法； 53. W在S2中得到的渐变拼缝为中屯、取一定宽度的窄带状区域，在该区域运行平面扫 描算法，得到拼缝位置的像素偏移；54. 将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分，并根据整个 重叠区域的偏移对图像进行形变；55. 融合重叠区域的图像，并与非重叠区域的图像组合得到当前一组视频帖的拼接图 像。2. 根据权利要求1所述的，其特征在 于：所述步骤S1的具体方法包括： 对于两台已完成标定的摄像机，其内参数矩阵Ki，K2,W及两摄像机之间的旋转矩阵R=b，r2，r3]和平移向量T已知，则被拍摄场景中的一点P在两相机坐标系中坐标而1与X。 的关系为 Xci= RXc2+t 图像矫正需要将两相机坐标系变换为新的具有平行光轴的两个虚拟相机坐标系下，两 虚拟相机坐标系的基向量在第一台摄像机坐标系下的表述均为：其中11 ?II表示取向量模；则两虚拟相机坐标系的旋转矩阵均为Rv=by,IVig，平 移向量分别为0与T;则P点在两虚拟相机坐标系中的坐标Xva，Xvc2与对应的原摄像机坐标 系中的坐标Xci，Xc2之间的变换关系为：设P点在两摄像机的图像坐标系中的坐标分别为Xi= (x^yi，l)T，X2= ^2,72，1)了，则 有：其中，与Z分别为点P在两摄像机坐标系中的深度坐标，是未知量；上式等价于：其中，-表示等比关系；设两虚拟摄像机的内参数矩阵均为Kv，则两虚拟摄像机的图像 坐标Xvi= (X…1)T，Xy2= (Xy2，yY2, 1)T与对应的真实摄像机的图像坐标Xi，X2之间变换 关系为：使用上当前第1页1 2 本文档来自技高网...

【技术保护点】
一种基于围绕渐变拼缝区域平面扫描的视频拼接方法，其特征在于包括以下步骤：S1.沿基线方向矫正相邻的两幅视频帧，将两幅图像之间的二维偏移关系简化到水平方向；S2.在S1中得到的矫正后图像的重叠区域运行基于图像差异和潜在匹配不确定性的渐变拼缝选择算法；S3.以在S2中得到的渐变拼缝为中心取一定宽度的窄带状区域，在该区域运行平面扫描算法，得到拼缝位置的像素偏移；S4.将S3中得到的拼缝位置的像素偏移线性扩散到重叠区域的其他部分，并根据整个重叠区域的偏移对图像进行形变；S5.融合重叠区域的图像，并与非重叠区域的图像组合得到当前一组视频帧的拼接图像。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘煜，李靖，张政，张茂军，赖世铭，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43