本发明专利技术提出一种基于人机交互生成视频深度图序列的方法和系统，其中，方法包括以下步骤：从视频帧序列中提取出关键帧和非关键帧；对视频帧序列的每一帧进行图像过分割以获得多个过分割块；设置关键帧中的部分过分割块的深度值；根据部分过分割块的深度值获取其余过分割块的深度值，从而获得关键帧的深度图；将关键帧和关键帧对应的深度图作为训练样本，通过机器学习算法获取非关键帧的深度图；以及对关键帧和非关键帧的深度图进行后处理，以获得最终的视频深度图序列。根据本发明专利技术实施例的基于人机交互生成视频深度图序列的方法和系统，既能保证生成的视频深度图序列具有较高质量，又不需要用户进行太多的额外操作，所有的用户操作简单而高效。
【技术实现步骤摘要】
本专利技术涉及计算机多媒体
，特别涉及一种基于人机交互生成视频深度图序列的方法及系统。
技术介绍
立体视频能够给人们带来更真实的视觉体验，被越来越广泛地应用在家庭娱乐、 影视制作、虚拟现实等诸多领域。虽然我们可以借助立体摄像机来直接拍摄新的立体视频， 但对于现有的众多平面视频资源，无法都通过重新拍摄来获取其相应的立体版本。在这种情况下，将平面视频转为立体视频就成为立体内容生成的一个极其重要的途径。其中，深度图的获取是平面视频转立体视频中必不可少的部分，而深度图的质量也直接决定了观众所能感受到的立体效果。目前，有许多种不需要用户干预，由计算机自动生成视频深度图序列的方法，这些方法存在的问题是，由于没有任何先验信息，很难直接从原视频帧序列中提取出相应的深度线索并生成正确的深度图。针对上述问题，也有人提出了一些需要用户干预的半自动的深度图生成方法，这些方法通常能够生成更高质量的视频深度图序列，和完全通过图像编辑软件逐帧制作深度图的方法相比也提高了不少效率，但它们所带来的额外的用户操作依然很多、很繁琐。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一。为此，本专利技术的一个目的在于提出一种基于人机交互生成视频深度图序列的方法，该方法既能保证生成的视频深度图序列具有较高质量，又不需要用户进行太多的额外操作，所有的用户操作简单而高效。本专利技术的另一个目的在于提出一种基于人机交互生成视频深度图序列的系统，该系统既能保证生成的视频深度图序列具有较高质量，又不需要用户进行太多的额外操作， 所有的用户操作简单而高效。根据本专利技术的一方面，提出了一种基于人机交互生成视频深度图序列的方法，包括以下步骤A1 从视频帧序列中提取出关键帧和非关键帧；A2 对所述视频帧序列的每一帧进行图像过分割以获得多个过分割块；A3 设置所述关键帧中的部分过分割块的深度值；A4 根据所述部分过分割块的深度值获取所述关键帧的其余过分割块的深度值，从而获得所述关键帧的深度图；A5 根据所述关键帧和所述关键帧对应的深度图获取所述非关键帧的深度图；以及A6 对所述关键帧的深度图和所述非关键帧的深度图进行后处理，以获得最终的视频深度图序列。根据本专利技术实施例的基于人机交互生成视频深度图序列的方法，通过用户对关键帧的检测结果进行修正，并为关键帧中的部分过分割块指定深度值，再借助深度扩散算法及机器学习算法获得关键帧及非关键帧的深度图，能够同时满足精度和效率上的要求，较好地完成将平面视频转为立体视频的任务。本专利技术另一方面还提供一种基于人机交互生成视频深度图序列的系统，包括检测模块，用于从平面视频帧序列中检测出镜头变化帧以作为关键帧，其中所述镜头变化帧包括镜头切变帧和镜头渐变帧；过分割模块，用于对所述视频帧序列的每一帧进行图像过分割；人机交互模块，用于提供用户操作界面以便用户对所述检测模块的检测结果进行修正，并对所述关键帧对应的部分过分割块设置深度值；关键帧深度图生成模块，用于根据所述关键帧对应的部分过分割块的深度值生成关键帧的深度图；非关键帧深度图生成模块， 用于根据所述关键帧的深度图，通过机器学习算法生成非关键帧的深度图；以及后处理模块，用于对所述关键帧和非关键帧的深度图进行后处理，得到最终的视频深度图序列。根据本专利技术实施例的基于人机交互生成视频深度图序列的系统，既能保证生成的视频深度图序列具有较高质量，又不需要用户进行太多的额外操作，所有的用户操作简单而高效。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图1为本专利技术一个实施例的基于人机交互生成视频深度图序列的方法的流程示意图；图2为本专利技术一个实施例的基于人机交互生成视频深度图序列的方法中的步骤 101的流程图；图3为本专利技术一个实施例的基于人机交互生成视频深度图序列的方法中的步骤 102的流程图；图4为本专利技术一个实施例的用户为关键帧中部分过分割块指定深度值的示意图；图5为本专利技术一个实施例的基于人机交互生成视频深度图序列的方法中的步骤 104的流程图；图6为本专利技术一个实施例的基于人机交互生成视频深度图序列的方法中的步骤 105的流程图；以及图7为本专利技术一个实施例的基于人机交互生成视频深度图序列的系统的示意图。 具体实施例方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。如图1所示，根据本专利技术实施例的基于人机交互生成视频深度图序列的方法，包括以下步骤步骤101，从平面视频帧序列中提取出关键帧和非关键帧。步骤102，对关键帧中的每一帧进行图像过分割以获得多个过分割块。步骤103，设置关键帧中的部分过分割块的深度值。步骤104，根据部分过分割块的深度值获取其余过分割块的深度值，从而获得关键帧的深度图。步骤105，将关键帧和关键帧对应的深度图作为训练样本，通过机器学习算法获取非关键帧的深度图。步骤106，对关键帧的深度图和非关键帧的深度图进行后处理，以获得最终的视频深度图序列。下面将结合附图详细说明本专利技术实施例的方法中的各个步骤的具体实现方式。如图2所示为步骤101的流程图，具体包括以下步骤步骤201，读取当前帧。步骤202，判断当前帧是否为镜头变化帧。具体地，采用镜头检测算法中的双阈值法，由计算机自动判断当前帧是否为镜头变化帧。在本专利技术的一个实施例中，镜头变化帧包括镜头切变帧和镜头渐变帧。步骤203，如果当前帧为镜头变化帧，则将当前帧作为关键帧。步骤204，如果当前帧不为镜头变化帧，则将当前帧作为非关键帧。步骤205，如果当前帧不为视频帧序列中的最后一帧，则继续读取当前帧的下一帧，重复执行步骤202-204。步骤206，由用户通过人机交互对当前帧检测结果进行修正。具体地，对于冗余或错误检测出的镜头变化帧，由用户将其人工标定为非关键帧； 对于未检测出的镜头变化帧，由用户将其人工标定为关键帧。在本专利技术的一个实施例中，采用基于K均值聚类的方法对视频的每一帧进行图像分割，如图3所示，具体包括以下步骤步骤301，将原图划分为多个大小和形状相同的矩形块，这些矩形块被当作原图中所有像素点的初始聚类。例如，可选矩形块的大小为16X16。步骤302，执行K均值算法，获得原图中所有像素点的最终聚类。步骤303，执行区域连通算法，将属于同一聚类的像素点所构成的一个连通区域划分成一个过分割块。步骤304，对步骤303的划分结果进行拆分和/或合并，以得到原图像的最终分割结果。具体地，可将面积大于第一给定阈值的过分割块进行拆分，将面积小于第二给定阈值的分割块进行合并。其中，例如将第一给定阈值设置为600，将第二给定阈值设置为 100。图4示出了步骤103中用户通过人机交互为关键帧对应的部分过分割块指定深度值的一个例子。用户通过计算机屏幕，利用自编软件或其他图像编辑软件提供的图形界面，在原图像上勾划出7条灰度曲线。其中，3条曲线的灰度值为255，1条曲线的灰度值为 180，3条曲线的灰度为0，它们分别代表了每条本文档来自技高网...
【技术保护点】
１．一种基于人机交互生成视频深度图序列的方法，其特征在于，包括以下步骤：Ａ１：从视频帧序列中提取出关键帧和非关键帧；Ａ２：对所述视频帧序列的每一帧进行图像过分割以获得多个过分割块；Ａ３：设置所述关键帧中的部分过分割块的深度值；Ａ４：根据所述部分过分割块的深度值获取所述关键帧的其余过分割块的深度值，从而获得所述关键帧的深度图；Ａ５：将所述关键帧和所述关键帧对应的深度图作为训练样本，通过机器学习算法获取所述非关键帧的深度图；以及Ａ６：对所述关键帧的深度图和所述非关键帧的深度图进行后处理，以获得最终的视频深度图序列。
【技术特征摘要】
【专利技术属性】
技术研发人员：戴琼海，晏希，
申请(专利权)人：清华大学，
类型：发明
国别省市：11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。