真实水流视频的水流结构图自动生成方法技术

真实水流视频的水流结构图自动生成方法，属于视频处理技术和计算机视觉方法领域，该生成方法包含如下步骤：ａ．输入含水流视频的图；ｂ．对光流的初步估算；ｃ．水流区域和背景区域的分割；ｄ．视频的去视角变换；ｅ．判别视角变换和水流区域是否收敛；若否，返回到步骤ｂ，若是，向下进入步骤ｆ，ｆ．视角固定的全景视频的生成；ｇ．用迭代插值算法，对光流进行优化；ｈ．水流结构线条提取，最终获得水流结构图。本方法克服了传统方法中的粗糙与不精确的缺陷，所生成的水流结构线条真实反应该视频各个位置的水流方向和大小，具有水流视频的风格化。

【技术实现步骤摘要】

本专利技术属于视频处理技术和计算机视觉方法领域，尤其涉及一种真实水流视 频的水流结构图自动生成方法。
技术介绍
山水等自然景物是艺术作品经常表现的对象。对于水的表现，由于河岸、岩 石的阻挡而产生的水流方向和水势变化是关键。在艺术动画，如水墨动画中， 存在大量的瀑布或河流的描绘。以真实视频为参考，自动的生成水流动画，可 以大幅提高艺术动画创作的效率，降低创作成本。要达到此目的，真实视频中 体现绘画结构的水流结构的自动检测是其中的关键。由于瀑布和河流的场景一般都比较宏大和壮观，因此拍摄视频的人， 一般都 会移动或旋转摄像机以拍摄更广范围瀑布或河流的全貌，这种镜头的运动给水 流区域的提取和水流真实运动计算带来很大困难，从而给水流结构的检测带来 很大挑战。要完成水流结构的检测，首先要处理的就是瀑布或河流视频中水区 域的提取，以及视频各帧的对齐，即全景图的生成。对于每一个水流场景，由 于河岸、岩石的阻挡和水势变化，水流会产生随机的扰动。但是在这种随机的 扰动下，水流呈现出的是一种基于统计的稳定走势，这种走势就是水流的结构。 从视频中提取水流最简单的方法是，根据水流在颜色域中的特征，在颜色 域中采用联合约束的方法提取，它只能得到一个粗糙的结果，而且在很多情况下会失败。动态纹理分割方法(2003)的主要思路是分析动态纹理的统计上的 特征从而区别不同类型的流体。该方法也使用颜色的变化信息，侧重于区别不 同种类的动态纹理，并没有考虑镜头的变化，分割的区域也不是精确的。基于 颜色域分割聚类的方法，像均值漂移算法(2002)、图切分(2004)方法和stroke surfaces (2005),虽然经典，均仅适用于简单的有形的运动物体的视频，因为 此类物体的分割结果比较稳定。而对于本章处理的这些复杂的无定形的纹理处 理并不好。在视频对齐问题上，Video matching (2004)基于计算两帧像素差 异的方法，给出一个比较鲁棒的对齐算法。但是该算法的不足在无法处理大景 深变换以及镜头的旋转。事实上，水流结构体现了水流的走势，可应用于多种绘画艺术创作中。水流结构的自动提取，是真实水流视频各种艺术风格绘制的关键。
技术实现思路
本专利技术需要解决的技术问题是，针对已往从视频中提取水流的最简单方法 是根据颜色域中特性，用联合约束方法提取，但只能得到一个粗糙的结果，而 对于动态纹理分割方法，分割的区域也不精确，为了克服这些已有方法中的诸 多不足，就要探求一种新的方法，本专利技术的目是提供一种真实水流视频的水流 结构图自动生成方法，该方法能够参考和利用真实的瀑布、河流等流体视频， 自动地生成原视频场景的水流结构线条图。为了实现本专利技术的目的，解决上述 技术问题，本专利技术所采用的技术方案为， 一种真实水流视频的水流结构图自动 生成方法，其特征在于该生成方法包含如下步骤a.输入含水流视频的图； b.对光流的初步估算；C.水流区域和背景区域的分割；d.视频的去视角变换； e.判别视角变换和水流区域是否收敛，若否，返回到步骤b，若是，向下进入步 骤f; f.视角固定.的全景视频的生成；g.用迭代插值算法，对光流进行优化；h. 水流结构线条提取，最终获得水流结构图。视频的去视角变换和全景视频的生成步骤是将真实视频中的视角变化去 除，得到一个视角固定的全景视频，同时通过简单的人机交互指定粗糙的水和 背景分割，再使用机器学习的方法获得水和背景区域的精细分割。所述光流的t(步估算，是通过计算水流区域的光流，来获得水在各点的流速 和方向，并且通过优化修正一些不符合水流方向和大小的光流，使光流结果能 运用到以后各步骤。对水流结构线条进行自动检测，是通过计算光流差异图，即记录全景视频中 每个像素点的光流变化绝对值之和的图作为参考，按照指定的条数检测水流结 构线条。在上述方法中，可以基于视频的亮度和获取的光流，使用迭代算法获取水流 /背景的精细划分，获得摄像机的远动，并得到更准确的光流。在上述方法中，所述通过迭代的插值算法对光流进行优化，可以通过水流的 连续性，检测错误的光流。在上述方法中，所述水流结构线条布置，可以通过各帧光流的差异图来确定， 完成一种符合绘画艺术风格的结构线条分布。本专利技术的有益效果是，本方法克服了传统方法中的粗糙与不精确的缺陷，所 生成的水流结构线条真实反应该视频各个位置的水流方向和大小，具有水流视 频的风格化。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明图l为本专利技术的算法流程图；图2为生成的水流结构线条分布的示意图。具体实施方式本专利技术在初始帧简单的区分水和背景，并生成去掉视角变换的全景视频， 然后使用基于亮度和光流的方法自动地分割视频中的水和背景。进而，对获取 的光流进行优化，修正其中不忠于水流运动的光流。本专利技术提出了光流差异图 的计算方法，并利用光流差异图，自动检测出指定条数的水流结构线条。参照图1表示本专利技术真实水流视频的步水流结构图自动生成方法的流程 图。按下步骤操作，步骤a，输入含水流视频的图；其输入数据为一个真实的河 流或瀑布视频。本算法首先使用人机交互，在初始帧简单的区分水和背景，步 骤b对光流的初步估算；c水流区域和背景区域的分割，使用基于亮度和光流的 方法自动地分割视频中的水和背景；d.视频的去视角变换，e判断视角变换和水 流区域是否收敛，若否，返回步骤b，若是，向下进入步骤f;进而，本算法对 获取的光流进行优化，用迭代插值算法，修正其中不忠于水流运动的光流。在 分析修正后光流的差异图的基础上，步骤h将水流线条布置到水的区域中，达 到一种符合绘画风格的水流结构图。在具体操作中，本算法首先由用户用鼠标在视频中分别框选出任意一块水流 和背景区域，用户指定水和背景以及迭代获得水和背景分割。然后通过统计框 选区域的亮度、色度等颜色信息得到水和背景区域的颜色划分阈值，通过该阈 值得到水与背景的一个粗糙划分，然后通过机器学习标定区域的光流和亮度来 迭代优化分割结果。摄像机视角变化从背景中估算，并且计算水流区域的光流。 去掉摄像机视角、.对齐相邻两帧的视频以及同时迭代优化水和背景分割的算法, 其伪代码如下Register(Image II， Image 12)//对齐相邻两帧的函数 initialization step:/Z初始化步骤F(x，y)=0 for all x，y; 〃初始化光流H = diag(l，l，l); //初始化变换矩阵sl = extract—sift_points(Il);s2 = extract—^&_^0^8(12);//获得相邻两帧的SIFT特征点 iteration step: 〃迭代步骤iswaterl = cl*Il+c2*|F(x,y)|+c3>0;iswater2 = warp(is一waterl，印;//通过当前变换矩阵获得两帧当前的水区域 sl， = select_sift_not_in—water(sl, iswaterl);s2' = select_sift_not_in—water(s2，iswater2);〃筛选出非水(背景)区域的特 征点matched_points = find_correspondence(sl，， s2，);〃对两组特征点作S本文档来自技高网...

【技术保护点】
一种真实水流视频的水流结构图自动生成方法，其特征在于：该生成方法包含如下步骤：ａ．输入含水流视频的图；ｂ．对光流的初步估算；ｃ．水流区域和背景区域的分割；ｄ．视频的去视角变换；ｅ．判别视角变换和水流区域是否收敛，若否，返回到步骤ｂ，若是，向下进入步骤ｆ；ｆ．视角固定的全景视频的生成；ｇ．用迭代插值算法，对光流进行优化；ｈ．水流结构线条提取，最终获得水流结构图。

【技术特征摘要】

【专利技术属性】
技术研发人员：胡事民，张一飞，陈韬，张松海，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]