基于流形的视频拼接方法技术

本发明专利技术公开了一种基于流形的视频拼接方法，具体包括以下步骤：（1）条图的切割和粘贴；（2）流形拼接的实现；（3）全景图融合。对于手持设备拍摄视频的拼接，针对手持设备运动不规则的情况，本发明专利技术采用了基于流形的拼接方案，该方案可以适应于各种相机运动，而无需事先对相机的运动有所限制。由于相机的运动、物体表面的反射率和点光源等原因，在相机拍摄视频的过程中，相同场景在不同帧上的亮度和色彩很多时候是不相同的。这样在把不同的帧拼接的时候，会有明显的拼接痕迹。本发明专利技术对基于流形的视频拼接方案，图像融合等模块做了讨论与分析，这几个模块对全景图的生成和显示效果起着很重要的影响。

【技术实现步骤摘要】

本专利技术涉及一种视频拼接方法，尤其涉及基于流形的视频拼接方法。
技术介绍
随着电子设备的发展，越来越多的用户会利用手机、平板电脑等电子设备拍摄视频。通常情况下，用户会将所拍摄的多个视频拼接成一个视频。例如，将播放时长为t1的视频Video1和播放时长为t2的视频Video2，拼接成一个播放时长为t1+t2的新视频。视频拼接是指根据拍摄的一小段场景视频，拼接成大视野的全景图像。手持设备拍摄视频时，往往摄像机运动带来的模糊和重影，图像质量没有相机静态拍摄的质量好。并且由于拍摄过程中，摄像机的姿态参数变化比较随机，视频帧间的视角变换有时比较剧烈，会严重影响后期视频的拼接质量。这些因素在视频拼接中都需要考虑到。本专利技术将介绍基于流形的视频拼接模块。基于流形的图像拼接方法是借助于条式相机的原理。该相机拍摄的图像为细条纹图。当该相机沿着景物一侧横向扫描拍摄时，将拍摄的一组条形图合成一幅大的图像。由于条式相机应用范围小很难得到，一次一般用普通的相机来代替。从普通相机采集的图像帧序列中的每帧提取一条图像，然后对齐拼接成一幅大的全景图。流形是现代数学中描述复杂对象的基本概念。简要的讲，流形就是将局部简单的面片粘合起来形成复杂的形状。当前的拼接算法都是基于把所有的图像投影到一个预先设定的单个流形上：平面通常用于相机平移运动的情况，圆柱面用于相机平摇的情况，球面用于相机的平摇和俯仰运动的情况。不同的拼接模型用于不同的相机运动，对于更为一般的相机运动，譬如相机的前向运动产生的图像使用传统的拼接方法无法进行拼接。
技术实现思路
本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种基于流形的视频拼接方法。基于流形的视频拼接方法，具体包括以下步骤：（1）条图的切割和粘贴：通过从源图像剪切条图然后把它们粘贴起来从而合成全景图；条图的形状以及宽度都取决于图像的运动；在选取条图以后，对其进行变形从而使得它们的光流平行且幅值相等；（2）流形拼接的实现：将对齐好的图像合成一副全景图有很多种方法，在这些情况中图像的对齐几乎是完美的，从而可以使用所有的重叠图像来生成全景图；用重叠区域来生产全景图的常用方法是用平均法，但是当图像对齐的精度不够的时候，平均法会导致模糊现象，仅选取其中一幅输入图像的某个区域来表示全景图的对应区域是一个更优的方法，这种选择方案能够最小化对齐误差产生的影响；最合理的选择是选取每幅图像的中心区域作为条图，这种选择方案对应着Vonoroi网格；使用Voronoi网格来进行条图的剪切、粘贴也能够最小化镜头扭曲带来的匹配误差；Voronoi网格使得每条接缝距离其对应的两个图像中心的距离相等；由于镜头扭曲效应是一个径向效应，垂直于接缝的特征将在接缝上产生相同的扭曲变形，这样在对齐的时候就无需考虑镜头的扭曲效应；（3）全景图融合：图像亮度的变化通常是由相机的自动增益控制引起的，由于亮度的不同，不同图像的区域拼接在一起的时候会有一个明显的拼接接缝，需要用图像融合的方法来消除该接缝，从而生成无缝全景图；常用的图像融合算法有中值滤波法、加权平均法、多分辨率融合法、最佳缝合线法等，本专利技术采用加权平均法。优选地，步骤（3）中所述的加权平均法具体为在重叠部分由前一幅图像慢慢过渡到第二幅图像，即将图像重叠区域的像素值按一定的权值相加合成新的图像。与现有技术相比，本专利技术的有益效果是：1、对于手持设备拍摄视频的拼接，针对手持设备运动不规则的情况，本专利技术采用了基于流形的拼接方案，该方案可以适应于各种相机运动，而无需事先对相机的运动有所限制。2、由于相机的运动、物体表面的反射率和点光源等原因，在相机拍摄视频的过程中，相同场景在不同帧上的亮度和色彩很多时候是不相同的。这样在把不同的帧拼接的时候，会有明显的拼接痕迹。为了消除拼接痕迹，实现自然的过度，本专利技术采用了加权平均的融合防范来实现图像的融合。3、本专利技术对基于流形的视频拼接方案，图像融合等模块做了讨论与分析，这几个模块对全景图的生成和显示效果起着很重要的影响。最后给出了部分场景的视频拼接图，可以看出，对于静态场景拍摄的视频，本专利技术的视频拼接方案能构建出高质量的拼接图。附图说明图1为相机平移运动时的条图形状；图2为条图与光流的关系图；图3为拼接的全景图。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。参考图1-3，本专利技术基于自适应流形拼接的方法把每帧图像的一块细条图像投影到流形上，该流形的形状根据相机的运动进行动态的变化。为了保证拼接后的图像无变形，所选择的流形必须具有下列特征：在将图像投影到流形上后，光流矢量必须是近似一致的，即光流矢量相互平行且幅值相等。该光流的典型情形是图像的平移运动，这时流形是平面。当相机做平摇运动时，流形是一个竖直的圆柱面，图像中心的竖直图像条的光流是近似一致的。当一个相机在普通的场景中运动是，光流是不一致的，并且和场景的深度有关。这种场景的一个拼接方案是使用狭缝相机或者线阵相机。这种相机可以看作一维的传感器阵列，通过扫过整个场景，然后把扫描得到的一维图像狭缝合成一幅大的图像。线阵相机的图像处理过程可以看作多透视投影模型：每个细条的投影变换都是透视变换，不同的细条可能来自不同的投影中心。因此在细条的方向，投影是透视变换的；而在相机前进的方向，投影是平行的。在平行投影下是没有视差的，因为在合成图像上的光流是一致的。流形拼接是处理一个标准透视相机平滑运动所拍摄的视频帧序列。流形拼接技术近似相同路径上线阵相机的拼接。这种近似是通过把每幅图像窄细条重新投影到一个动态的流形上，从而光流能够近似一致，即光流平行且具有相等的幅值。动态流形和重投影矩阵都是隐式计算得到的。拼接图像中的每个区域都是取自该区域具有最高分辨率的拍摄图像。假设相机运动是纯旋转或者纯平移运动，当相机运动同时含有旋转和平移时，可以通过旋转变换把旋转运动抵消。基于流形的拼接方法是通过在图像中提取窄带条形图像，然后把这些窄带拼接成一幅大的全景图，这些窄带必须满足下列条件：①窄带条图的宽度必须和相机的运动成正比；②窄带条图必须经过变形后贴到全景图上，在变形后必须保证它们的光流是平行于全景图构建的方向，并且光流的幅值相等；③为了避免全局的尺度变化，每个窄带条图都包含一个支撑特征，即使经过变形该特征也能保持不变；④建议该特征垂直于光流，从而能够是虚拟一维传感器阵列收集到的信息最大化。当前大部分的拼接系统都是针对整幅图像或者视频帧的拼接。引入整帧图像会给图像拼接带来一些困难：①由于镜头失真、运动视差、物体的运动等因素，将整帧图像精确的对齐是不可能的。在图像拼接的时候会带来一些“鬼影”或者模糊；②这对拼接流形的确定带来了困难。例如，如果所有的图像都对齐到某个参考图像上，那么不同的参考图像将会构成不同的拼接图。在将图像投影到圆柱面的情况，必须保证相机是纯左右旋转的。为了克服以上的这些困难，本专利技术采用基于窄带条图的拼接方案。采用最简单的条图，即竖直条图，对应相机的左右平移和旋转，从每幅图像中提取竖直条图，然后将条图对齐合成一幅全景图。当光流是竖直方向时，采用竖直条图是无用的，因为这时条图和光流的方向平行，没有图像区域切割条图。最佳的拼接方案是让条图的本文档来自技高网...

【技术保护点】
基于流形的视频拼接方法，其特征在于，具体包括以下步骤：（1）条图的切割和粘贴：通过从源图像剪切条图然后把它们粘贴起来从而合成全景图；条图的形状以及宽度都取决于图像的运动；在选取条图以后，对其进行变形从而使得它们的光流平行且幅值相等；（2）流形拼接的实现：将对齐好的图像合成一副全景图有很多种方法，在这些情况中图像的对齐几乎是完美的，从而可以使用所有的重叠图像来生成全景图；用重叠区域来生产全景图的常用方法是用平均法，但是当图像对齐的精度不够的时候，平均法会导致模糊现象，仅选取其中一幅输入图像的某个区域来表示全景图的对应区域是一个更优的方法，这种选择方案能够最小化对齐误差产生的影响；最合理的选择是选取每幅图像的中心区域作为条图，这种选择方案对应着Vonoroi网格；使用Voronoi网格来进行条图的剪切、粘贴也能够最小化镜头扭曲带来的匹配误差；Voronoi网格使得每条接缝距离其对应的两个图像中心的距离相等；由于镜头扭曲效应是一个径向效应，垂直于接缝的特征将在接缝上产生相同的扭曲变形，这样在对齐的时候就无需考虑镜头的扭曲效应；（3）全景图融合：图像亮度的变化通常是由相机的自动增益控制引起的，由于亮度的不同，不同图像的区域拼接在一起的时候会有一个明显的拼接接缝，需要用图像融合的方法来消除该接缝，从而生成无缝全景图；常用的图像融合算法有中值滤波法、加权平均法、多分辨率融合法、最佳缝合线法等，本专利技术采用加权平均法。...

【技术特征摘要】
1.基于流形的视频拼接方法，其特征在于，具体包括以下步骤：（1）条图的切割和粘贴：通过从源图像剪切条图然后把它们粘贴起来从而合成全景图；条图的形状以及宽度都取决于图像的运动；在选取条图以后，对其进行变形从而使得它们的光流平行且幅值相等；（2）流形拼接的实现：将对齐好的图像合成一副全景图有很多种方法，在这些情况中图像的对齐几乎是完美的，从而可以使用所有的重叠图像来生成全景图；用重叠区域来生产全景图的常用方法是用平均法，但是当图像对齐的精度不够的时候，平均法会导致模糊现象，仅选取其中一幅输入图像的某个区域来表示全景图的对应区域是一个更优的方法，这种选择方案能够最小化对齐误差产生的影响；最合理的选择是选取每幅图像的中心区域作为条图，这种选择方案对应着Vonoroi网格；使用Voronoi网格来进行条图的剪...

【专利技术属性】
技术研发人员：刘贵全，叶剑鸣，印金汝，
申请(专利权)人：合肥赑歌数据科技有限公司，
类型：发明
国别省市：安徽;34