本发明专利技术公开了一种视频前景对象标注的方法。包括如下步骤：（１）把一段视频分成若干部分，每部分包含一幅关键帧和若干幅非关键帧；（２）对于关键帧，要求用户输入提示信息，指定前景对象和背景对象中的一些关键部分，然后对关键帧进行标注；（３）对于非关键帧，根据关键帧上的标注结果，把前景部分的颜色分布和形状信息，以及背景部分的颜色部分作为先验知识，根据这些先验知识，对非关键帧进行标注。本发明专利技术把关键帧上的交互信息和前景形状传送到非关键帧上，综合考虑非关键帧上每个部分对于前景和背景分布的颜色相关性，相邻两个区域的颜色差异，以及形状信息来求解非关键帧的标注。结果表明，本发明专利技术能够解决前景物体边缘部分标注不准确的问题。
【技术实现步骤摘要】
本专利技术涉及视频处理领域，尤其涉及。
技术介绍
随着数码相机和数码摄像机的普及化，交互式图像和视频处理成为非常热门和前沿研究方向。其中，以交互式手段实现视频前景高效提取，进而将提取出来的前景合成到新的视频序列中，或者对该前景进行卡通风格编辑等操作，成为视频领域一个重要的技术。 视频是连续图像帧构成的，实现视频流中前景和背景对象分割可以对每帧分别进行交互操作，使用图像前景提取方法，得到各帧的前景和背景，从而生成整段视频的前景和背景。但是，这种手段存在如下几个问题首先，需要大量重复性乏味工作，即用户对每帧上的背景和前景都需要进行交互提示；其次，这种手段对每帧分别处理，没有考虑它们之间的时间连续性，相邻帧之间少量的差别都会照成视觉上的跳跃。 如果能够准确地跟踪视频流中物体运动，那么对关键帧可以按照交互机制提取前景和背景，将交互知识和运动跟踪结果扩散到非关键帧上达到自动提取非关键帧前景和背景目的。Hertzmann等人就采用光流估计算法来跟踪物体的运动[3]，但是目前光流估计算法很难鲁棒得到普通视频中运动跟踪结果，因此不能用光流估计算法来得到非关键帧上的前景，但是光流估计的结果可以作为一个约束条件来动态更新跟踪过程。基于这样的思路，本专利技术提出了一种在关键帧上进行交互式前景背景提取，非关键帧根据与关键帧在时序上相关性以及非关键帧本身空间相关性来进行视频前景提取的方法。 有大量的工作是在轮廓提取的基础上进行前景提取的。Hall等人提出了一种用户监督下轮廓提取方法[2]，其允许用户对若干帧中前景物体轮廓进行勾勒，然后再对其它帧进行插值，这样得到其他帧的前景轮廓，从而得到前景区域。这种方法需要大量人力来进行勾勒轮廓，对于快速运动的视频，需要人工勾勒的帧数就越多，否则中间帧的插值结果产生的错误就越大。Agarwala等人提出了一种基于优化和用户交互来提取轮廓的方法[1]，减少了用户的交互。但是这些方法是存在局限性的，它用近似的轮廓边来表示物体形状，边缘细节丰富的物体容易丢失这些细节信息。而且，这些方法要求前景物体和背景的分界线要明显。 也有一些工作是基于物体分块的基础上进行前景提取的。Wang等人提出了一种交互式图分割的视频前景提取方法[6]，使用Mean-Shift对图像进行预分块，来减少需要的部分数量。他们在全局代价函数的基础上增加了局部代价函数，即对背景和跨标注的地方进行统计建模，然后对其进行最小割处理。Li等人的算法也是一种利用图分割算法进行视频对象提取的方法[4]，这个方法综合考虑了关键帧上每个部分相对于前景和背景颜色分布的颜色相关性，并使跨过物体边缘的相邻两个区域的颜色差异最大化，同时，还考虑了物体运动的时间相关性。但是，当物体颜色和周围背景颜色相似时，这两种方法出现边缘判断错误。 A. Agarwala，A.Hertzmann，D.H.Salesin，and S.M.Seitz.Keyframe-Based Tracking forRotoscoping and Animation.In Proceedings of ACM SIGGRAPH 2004.2004.pp.584-591[2]J. Hall，D. Greenhill and G.Jones.Segmenting Film Sequences using Active Surfaces.InInternational Conference on Image Processing(ICIP).1997.pp.751-754[3]A.Hertzmann and K.Perlin.Painterly Rendering for Video and Interaction.In Proceedings ofthe lst International Symposium on Non-photorealistic Animation and Rendering.2000.pp.7-12[4]Y.Li，J.Sun and H.Y.Shum.Video Object Cut and Paste.In Proceedings of ACMSISGGRAPH 2005.2005.pp.595-600[5]L.Vincent and P.Soille.Watersheds in Digital SpacesAn Efficient Algorithm Based onImmersion Simulations.IEEE Tran.on Pattern Analysis and Machine Intelligence.1991.13(6)，pp.583-598[6]J.Wang，P.Bhat，R.A.Colbum，M.Agrawala and M.F.Cohen.Interactive Video Cutout.InProceedings of ACM SIGGRAPH 2005.2005.pp.585-594
技术实现思路
本专利技术的目的是提供。 它包括如下步骤(1)把一段视频分成若干部分，每部分包含若干帧，在这些帧中，有一幅关键帧，其它的都是非关键帧；(2)对于关键帧，要求用户输入提示信息，指定前景对象和背景对象中的一些关键部分，然后对关键帧进行标注，得出该帧上的每个部分的从属关系；(3)对于非关键帧，根据关键帧上的标注结果，根据前景的颜色分布和形状信息，以及背景的颜色信息，对非关键帧进行标注。 所述的把一段视频分成若干部分根据视频中物体运动的速度，每个部分的帧数会和它成反比，对于物体运动快速的情况下，每个部分的帧数少，反之，则帧数多。 对于关键帧，要求用户输入提示信息，指定前景对象和背景对象中的一些关键部分用户在关键帧的图像上，用鼠标对前景或者背景进行勾勒，画上一些点，线段和多边形，这样，对于这些点，线段和多边形而言，它们是关键帧上标注的硬性限制，即这些部分在标注的过程中前景或者背景的从属关系不会改变；对关键帧进行标注，得出该帧上的每个部分的从属关系，对关键帧进行标注，标注方法包括如下步骤(1)对图像先进行预处理，采用沉浸式分水岭算法，把图像中相邻的并且颜色相差在某个阈值范围之内的像素点划分为同一个区域；(2)对于每个区域，把这个区域内的平均颜色值作为它的区域颜色； (3)对用户输入指定的前景和背景上的像素点的颜色值进行聚类，得到一组背景颜色中心和前景颜色中心；(4)定义区域块的数据值差异为该区域颜色和前景或者背景的颜色中心之间差异的最小值，定义相邻区域块之间差异为相邻区域块的颜色之间的距离；(5)根据数据值的差异和相邻区域块之间的差异，把每个区域块作为一个节点，构造一幅图分割的图，再对这幅图做最小割，得到对该幅图像的近似最优化解的标注。 对于非关键帧，根据关键帧上的标注结果，根据前景的颜色分布和形状信息，以及背景的颜色信息，对非关键帧进行标注，标注方法包括如下步骤(1)根据关键帧的标注结果，对前景和背景的颜色进行聚类，这个聚类结果将应用到非关键帧的数据值的差异中；(2)根据关键帧的标注结果，得到前景物体的轮廓。利用信任度扩散算法，在一定的运动范围内估算物体的运动，得到非关键帧上物体轮廓的大致位置，把这个轮廓信息做为相邻区域块差本文档来自技高网...
【技术保护点】
一种基于轮廓时空特征的视频对象标注方法，其特征在于包括如下步骤： （１）把一段视频分成若干部分，每部分包含若干帧，在这些帧中，有一幅关键帧，其它的都是非关键帧； （２）对于关键帧，要求用户输入提示信息，指定前景对象和背景对象中的一些关键部分，然后对关键帧进行标注，得出该帧上的每个部分的从属关系； （３）对于非关键帧，根据关键帧上的标注结果，根据前景的颜色分布和形状信息，以及背景的颜色信息，对非关键帧进行标注。
【技术特征摘要】
1.一种基于轮廓时空特征的视频对象标注方法，其特征在于包括如下步骤(1)把一段视频分成若干部分，每部分包含若干帧，在这些帧中，有一幅关键帧，其它的都是非关键帧；(2)对于关键帧，要求用户输入提示信息，指定前景对象和背景对象中的一些关键部分，然后对关键帧进行标注，得出该帧上的每个部分的从属关系；(3)对于非关键帧，根据关键帧上的标注结果，根据前景的颜色分布和形状信息，以及背景的颜色信息，对非关键帧进行标注。2.根据权利要求1所述的一种基于轮廓时空特征的视频对象标注方法，，其特征在于所述的把一段视频分成若干部分根据视频中物体运动的速度，每个部分的帧数会和它成反比，对于物体运动快速的情况下，每个部分的帧数少，反之，则帧数多。3.根据权利要求1所述的一种基于轮廓时空特征的视频对象标注方法，其特征在于所述的对于关键帧，要求用户输入提示信息，指定前景对象和背景对象中的一些关键部分用户在关键帧的图像上，用鼠标对前景或者背景进行勾勒，画上一些点，线段和多边形，这样，对于这些点，线段和多边形而言，它们是关键帧上标注的硬性限制，即这些部分在标注的过程中前景或者背景的从属关系不会改变；4.根据权利要求1所述的一种基于轮廓时空特征的视频对象标注方法，其特征在于所述的对关键帧进行标注，得出该帧上的每个部分的从属关系，对关键帧进行标注，标注方法包括如下步骤(1)对图像先进行预处理...
【专利技术属性】
技术研发人员：庄越挺，董兆华，肖俊，
申请(专利权)人：浙江大学，
类型：发明
国别省市：86[中国|杭州]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。