一种基于图像集的漫游视频自动生成方法技术

本发明专利技术提供了一种基于图像集的漫游视频自动生成方法，它包括以下步骤：本地匹配；全局优化；图像合成；最后将所有帧连接成视频输出。本发明专利技术以一系列图像作为输入，找到一个最佳浏览序列，形成一段不断放大的具有视觉连续性的图像浏览视频，本发明专利技术同时还提供了一种更为生动的图像浏览方式，使用户以一种更为生动的方式浏览图像，犹如在图像的场景中漫游；对于一个旅游景点的一系列图像，本方法可生成一段较好串联该景点不同场景的视频，作为该旅游景点的宣传片；制作方法速度较快，不需要花费过多的人力物力去设计场景与选择图像，整个视频生成过程自动化程度高。

【技术实现步骤摘要】

本专利技术涉及一种基于放大形式的图像浏览方法。
技术介绍
基于放大形式的图像浏览方法隶属于非真实感图像视频处理领域，目前网上 流行一种被成为zoomquilt的非真实感艺术表现形式艺术家手绘一系图像，形 成一个放大播放图像的flash视频，播放的视频在视觉上是连续的。但是要制作 这样一个flash,需要艺术家精心设计并绘制场景，需要消耗大量人力。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于图像集的漫游视频自动生成方 法，它能够基于计算机处理自动生成图像浏览视频。为此本专利技术采用以下技术方案该方法包括以下步骤(1) 本地匹配设图像集中任意一幅图像为图像A，任意另一幅图像为图像B，将图像B縮小后，与图像A中的不同位置图像进行比较，计算出它们之间 的图像差别，寻找所述图像A中与所述縮小的图像B之间图像差别最小的位置， 将该位置作为所述缩小的图像B在图像A中的嵌入位置，该最小图像差别作为两 图像最终图像差别存入图像差别表；重复上述步骤，对图像集中的图像进行两两 匹配，将获得的最小图像差别存入图像差别表；(2) 全局优化系统根据本地匹配得到的图像差别表，找出图像差别总和最小的原始图像排列序列，作为播放序列，其中，嵌入的图像排在被嵌入的图像的后面；(3)图像合成按照得到的播放序列，按前后次序，设序列中原始图像为 i、 i+l、 i+2……i+(n-1)、 i+n，将i+l縮小并按照本地匹配中获得的嵌入位置 嵌入到i中，放大i和i+l的合成图像，直至i+l充满视窗；重复上述过程，进 行i+l与i+2直至i+ (n-l)与i+n的处理；每个放大阶段的合成图像都作为前 后原始图像之间的插值图像，所有图像输出视频的帧；最后，将所有帧连接成视频输出。基于放大形式的图像浏览方法，定义的图像差别包含以下要素颜色差别， 纹理差别，图像复杂性。颜色是图像最显著的特征，与其他特征相比，颜色特征计算简单、性质稳定， 对于旋转、平移、尺度变化都不敏感，表现出很强的鲁棒性。颜色特征包括颜色 直方图、主要颜色、平均亮度等。本方法使用HSV颜色空间上的平均像素差平方 (sum squared of difference)来衡量颜色差另廿纹理分析一直是计算机视觉的一个重要研究方向，其方法可以大致分为统计 方法和结构方法。统计方法是对图像的颜色强度的空间分布信息进行统计，又可 进一步分为传统的基于模型的统计方法和基于频谱分析的方法，如马尔可夫随机 场模型、Fourier频谱特性等。结构方法首先假定纹理模式由纹理单元按照一定 规则排列组成，因此纹理分析就变为确定这些单元、定量分析它们的空间排列。 本方法使用梯度图像的平均像素差平方来衡量纹理差别。图像复杂性问题是近年来计算机视觉的研究热点问题，人眼很难从复杂场景 中辨别出一个物体，但很容易从简单的场景分别出一个物体，故将縮小图像嵌入 到一个相对复杂的区域是一个更好的选择。全局优化问题也是一个被广泛研究的问题，有许多方法被用来解决优化问 题，比如模拟退火算法，蚁群算法，动态规划算法也适用于解决这一系列问题。图割算法在过去几年被广泛应用于计算机视觉领域，以解决标签问题，能量 最小化问题等等，具体的应用领域包含图像分割，图像拼接，视频拼接等等，特 别在在图像拼接方面，图割算法有着非常好的效果。由于采用本专利技术的技术方案，本专利技术以一系列图像作为输入，找到一个最佳 浏览序列，形成一段不断放大的具有视觉连续性的图像浏览视频，本专利技术同时还 具有以下有益效果1. 提供了一种更为生动的图像浏览方式，使用户以一种更为生动的方式浏览 图像，犹如在图像的场景中漫游。2. 对于一个旅游景点的一系列图像，本方法可生成一段较好串联该景点不同 场景的视频，作为该旅游景点的宣传片。3. 制作方法速度较快，不需要花费过多的人力物力去设计场景与选择图像， 整个视频生成过程自动化程度高。附图说明图1为本专利技术所提供的自动生成方法的流程图。 图2为本专利技术所提供的本地匹配步骤的子流程。 图3为本专利技术所提供的图像合成步骤的子流程图。图4为本专利技术所提供的自动生成方法的过程描述图，演示了将图像集作为输入，输出最佳播放序列，播放序列中的相邻图片之间进行合成图像插值，形成输 出视频的过程。图5为本专利技术所提供的自动生成方法处理实例的示意简图，其在图中，第一 排为按序列排列的属于一个图像播放序列中的一部分图像，第二排为生成视频中 连接其中两个相邻图像的插值中间帧。具体实施例方式首先定义在接下来说明中要用到的符号图像序列定义为^...,^。将Ii定义 为目标图像，将,+1的縮小版本记做^ 。^和吗+1的合成图像记做3^+31。平均像素差平方(sum squared of difference), 縮写为SSD。6图l是本专利技术的基本流程图，本专利技术以一系列图像作为输入，以一段不断放 大在图像中切换的视频作为输出。下面对本专利技术的各个流程进行详细说明 1.本地匹配本地匹配以一系列图像作为输入(流程如图2所示)，其大体流程如下设 图像中任意一幅图像为图像A，任意另一幅图像为图像B，将图像B縮小后，与图像A中的不同位置图像进行比较，计算出它们之间的图像差别，寻找所述图像 A中与所述縮小的图像B之间图像差别最小的位置，将该位置作为所述縮小的图 像B在图像A中的嵌入位置，该最小图像差别作为两图像最终图像差别存入图像 差别表；重复上述步骤，对图像集中的图像进行两两匹配，将获得的最小图像差 别存入图像差别表图像差别包含四个方面颜色差别，纹理差别，嵌入位置的图像复杂度，嵌 入位置在图像中的位置。HSV空间颜色差别iic = cxD(H) + pD(S) + yD(V)，其中a : p : Y = 4 : 1 : 1，为权重值，D(H)， D(S)， D(V)分别表示3个通道上的平均像素SSD 纹理差别AT定义为经中值滤波的两幅梯度图像的平均像素SSD 图像复杂度使用方差V衡量目标图像区域的复杂度嵌入位置对边缘的位置p定义惩罚值Pt(p)，靠近图像中央的嵌入位置与图 像边缘的嵌入位置相比较，其图像差别值小，其惩罚值Pt(p)小，对于中间的位置，该项为o。也即靠近图像中央的嵌入位置给予较小的惩罚，在图像边缘的位置给予较大的惩罚。比较过程按照图2所示进行，对某嵌入位置首先比较颜色差别，若颜色差别大于某一个设定阈值，则跳过该位置，去其他位置进行比较，否则继续比较纹理 差别，图像复杂度，嵌入位置三个因素，直到得到该位置的综合评价。7综合上述几项，将第i张图像的縮小版本(大小为r)嵌入第j张图像的消耗定义如下Costr歸=min(w^A啦p) — w2￥(p) + w3AT(i,p) Hh w伞Pt(p))其中p是嵌入位置，G是所有位置的集合，Wl = X4 , W2 - w3 = W4 = (J-2,为权重值，其余几项为上述描述图像差别要考虑的因素，最后，考虑图像i的不 同大小，将图像i贴入图像j的消耗定义如下Cos啦j) 二 min(Costr(i,j))其中R为我们考虑的所有分辨率集合(一般选取16x16, 32x32, 64x64)。 计算所有图像两两之间的Cost(i, j)，最后可以得到存储所有图像之间差别 的表Best Map (图像差别表)。 2.全局优化全局优本文档来自技高网...

【技术保护点】
一种基于图像集的漫游视频自动生成方法，其特征在于该方法包括以下步骤：　（１）本地匹配：设图像集中任意一幅图像为图像Ａ，任意另一幅图像为图像Ｂ，将图像Ｂ缩小后，与图像Ａ中的不同位置图像进行比较，计算出它们之间的图像差别，寻找所述图像Ａ中 与所述缩小的图像Ｂ之间图像差别最小的位置，将该位置作为所述缩小的图像Ｂ在图像Ａ中的嵌入位置，该最小图像差别作为两图像最终图像差别存入图像差别表；重复上述步骤，对图像集中的图像进行两两匹配，将获得的最小图像差别存入图像差别表；　（２）全 局优化：根据本地匹配得到的图像差别表，找出图像差别总和最小的图像排列序列，作为播放序列，其中，嵌入的图像排在被嵌入的图像的后面；　（３）图像合成：按照得到的播放序列，按前后次序，设序列中原始图像为ｉ、ｉ＋１、ｉ＋２……ｉ＋（ｎ－１）、 ｉ＋ｎ，将ｉ＋１缩小并按照本地匹配中获得的嵌入位置嵌入到ｉ中，放大ｉ和ｉ＋１的合成图像，直至ｉ＋１充满视窗；重复上述过程，进行ｉ＋１与ｉ＋２直至ｉ＋（ｎ－１）与ｉ＋ｎ的处理；每个放大阶段的合成图像都作为前后原始图像之间的插值图像，所有图像输出视频的帧；　最后，将所有帧连接成视频输出。...

【技术特征摘要】
1、一种基于图像集的漫游视频自动生成方法，其特征在于该方法包括以下步骤(1)本地匹配设图像集中任意一幅图像为图像A，任意另一幅图像为图像B，将图像B缩小后，与图像A中的不同位置图像进行比较，计算出它们之间的图像差别，寻找所述图像A中与所述缩小的图像B之间图像差别最小的位置，将该位置作为所述缩小的图像B在图像A中的嵌入位置，该最小图像差别作为两图像最终图像差别存入图像差别表；重复上述步骤，对图像集中的图像进行两两匹配，将获得的最小图像差别存入图像差别表；(2)全局优化根据本地匹配得到的图像差别表，找出图像差别总和最小的图像排列序列，作为播放序列，其中，嵌入的图像排在被嵌入的图像的后面；(3)图像合成按照得到的播放序列，按前后次序，设序列中原始图像为i、i+1、i+2……i+(n-1)、i+n，将i+1缩小并按照本地匹配中获得的嵌入位置嵌入到i中，放大i和i+1的合成图像，直至i+1充满视窗；重复上述过程，进行i+1与i+2直至i+(n-1)与i+n的处理；每个放大阶段的合成图像都作为前后原始图像之间的插值图像，所有图像输出视频的帧；最后，将所有帧连接成视频输出。2、 根据权利要求l所述的一种基于图像集的漫游视频自动生成方法，其特征在于所述图像差别包含2个方面颜色差别，纹理差别；其中，颜色差别使用HSV颜色空间上的平均像素差平方(sum squared of difference)来衡量；纹理差别使用梯度图像的平均像素差平方来衡量。3、 根据权利要求2所述的一种基于图像集的漫游视频自动生成方法，其特征在于所述图像差别包含2个方面嵌入位置的图像复杂度，嵌入位置在图像中的位置；图像复杂度使用方差来衡量，嵌入位置的图像复杂度越大，图像差别值越小；靠近图像中央的嵌入位置与图像边缘的嵌入位置相比较，其图像差别值小。4、 根据权利要求2或3所述的一种基于图像集的漫游视频自动生成方法，其特征在于在...

【专利技术属性】
技术研发人员：丛林，童若峰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]