一种交互式立体视频关键帧的制作方法及制作装置制造方法及图纸

本发明专利技术公开了一种交互式立体视频关键帧的制作方法及制作装置，其制作方法包括如下步骤：获取图片序列并选定图片序列中的关键帧，以及对关键帧进行图像去噪后调用K-means聚类算法将关键帧中相似的像素点合并成区域，记录区域信息；计算每个区域分配权值，并根据区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果；根据区域分割结果进行图像膨胀和腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精细化分割结果；根据精细化分割结果构造图像前景和背景区域并分别进行深度赋值，以及将前景和背景深度图进行融合以获得关键帧深度图进行输出。该制作方法降低了关键帧的制作成本，且制作速度和精度高。

【技术实现步骤摘要】

本专利技术涉及计算机图像处理
，特别涉及一种交互式立体视频关键帧的制作方法及一种交互式立体视频关键帧的制作装置。
技术介绍
立体视频作为当前影视作品的一种重要表现形式，被广泛认为是影视行业的未来主要发展方向。立体视频的显示效果层次分明、色彩鲜艳，具有很强的视觉冲击力，给观众留下深刻的印象。此外，立体视频的显示效果更具真实感，场景与人物栩栩如生，给观众强烈的身临其境的感觉，具有很高的艺术欣赏价值。正因为立体视频具有这些平面视频所不具备的特点，所以在诸如终端显示、机器人导航、航空航天、军事训练、医疗教育、游戏传媒等领域具有广阔的市场前景和商业价值。立体视频作为视觉信息的一种重要的表示方式，特别涉及计算机视觉、图像视频处理、模式识别等领域。长期以来，立体视频的制作方式可以分为三种第一种方式是直接使用立体摄像机进行拍摄。这种方式需要采用专业的立体视频拍摄设备及完整的后期处理流水线，成本高昂。与此同时，立体摄像机拍摄时需要在不同视角间进行匹配校准，对拍摄环境及摄像机运动都有着一定的限制，这些都在很大程度上制约了采用立体摄像机直接拍摄这种方式的普及。第二种方式是利用三维建模软件制作立体视频，这种方式可以生成基于任意场景的立体视频，但是需要专业人员花费大量精力对场景、对象进行建模，其经济成本和时间成本令人望而却步。第三种方式是利用平面视频立体化技术，直接将平面视频转换为立体视频。这种方式的成本比前两种方式低很多，而且可以将任何一组现有的平面视频转换为对应的立体视频。考虑到现有平面视频的大量资源，如能将其转换为立体视频，不仅可以获得更好的观赏体验，还可以推进以立体电视、立体影院为代表的立体显示技术的推广普及。当前基于人机交 互的平面视频立体化技术可分为关键帧制作、非关键帧扩散和基于深度图的渲染三个阶段。在关键帧制作阶段中，通过引入人工操作生成高精度的关键帧深度图。在非关键帧制作阶段中，利用深度传播算法将关键帧的深度图扩散到非关键帧，得到整个平面视频序列的深度图。在基于深度图的渲染阶段中，根据平面视频序列及其对应的深度图，采用基于深度图的渲染算法(DIBR算法)，生成对应的立体视频。在平面视频立体化技术的三个阶段中，关键帧制作是第一个也是最重要的一个阶段，只有在关键帧深度图精度较高的情况下，才能够扩散生成高精度的非关键帧深度图，进而得到高质量的立体视频。关键帧制作可以分为图像分割和深度赋值两个阶段。传统的图像分割方法将图像进行0-1 二值分割，即图像中的像素点只能属于前景或属于背景。然而，这类方法得到的分割结果边缘较为生硬，特别是当图像中存在物体前后遮挡或存在较细小的毛发边缘等情况时，分割边缘出现错误的现象更为明显。分割结果的不准确直接导致深度赋值的不准确，影响了关键帧深度图的质量，并最终导致生成的立体视频中存在物体边缘抖动等明显瑕疵。这些瑕疵会引起立体视频观看者的不适感，在一定程度上限制了平面视频立体化技术的推广普及。
技术实现思路
本专利技术的目的旨在至少解决上述的技术缺陷之一。为此，本专利技术的一个目的在于提出一种交互式立体视频关键帧的制作方法，该制作方法降低了立体视频的制作成本，提高了立体视频关键帧制作的速度和精度，消除了传统制作方式引起的边缘抖动现象及观看者的不适感，提高了平面视频立体化转换的效率。本专利技术的另一个目的在于提出一种交互式立体视频关键帧的制作装置。为达到上述目的，本专利技术的一方面实施例提出了一种交互式立体视频关键帧的制作方法，包括如下步骤Si，获取图片序列并选定所述图片序列中的关键帧，以及对所述关键帧进行图像去噪后调用κ-means聚类算法将图像去噪后的关键帧中相似的像素点合并成区域，记录区域信息；S2，计算每个区域分配权值，并根据所述区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果；S3，根据所述区域分割结果进行图像膨胀操作和图像腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精细化分割的结果；S4，根据所述精细化分割的结果构造图像前景区域和图像背景区域并分别进行深度赋值，以及将前景深度图和背景深度图进行融合以获得关键帧深度图进行输出。根据本专利技术实施例的交互式立体视频关键帧的制作方法，能够逐步求精的进行图像分割操作，快速生成高精度的分割结果，还能够方便的进行前景与背景的深度赋值，得到高质量的关键帧深度图，从而降低了立体视频的制作成本，提高了立体视频关键帧制作的速度和精度，提高了平面视频立体化转换的效率。在本专利技术的一个实施例中，在所述步骤SI中，还包括采用高斯滤波算法对所述关键帧进行图像去噪。在本专利技术的一个实施例中，所述区域分配权值包括区域连接权值和区域标记权值，所述区域标记权值包括前景标记权值和背景标记权值。在本专利技术的一个实施例中，所述步骤S3进一步包括如下步骤读入所述区域分割结果并将其转换为单通道八位标记图像，以及保存至少两份标记图像的副本；在所述至少两份标记图像的副本中的一个副本上进行图像膨胀操作，并在所述至少两份标记图像的副本中的另一个副本上进行图像腐蚀操作；根据图像膨胀操作结果和图像腐蚀操作结果构造关键帧的三分图；将关键帧图像和所述三分图作为输入参数，调用贝叶斯抠图算法以获得精细化分割的结果，其中，所述精细化分割的结果以alpha通道的形式进行保存。在本专利技术的一个实施例中，在所述步骤S4中，还包括通过绘制的方式或模型的方式进行所述深度赋值，其中，深度赋值模型包括单一深度模型、线性渐变深度模型、球形渐变深度模型。本专利技术进一步实施例提出的交互式立体视频关键帧的制作装置包括预处理模块，用于获取图片序列并对选定的所述图片序列中的关键帧进行图像去噪，以及通过调用K-means聚类算法将图像去噪后的关键帧中相似的像素点合并成区域，并记录区域信息；区域分割模块，用于计算每个区域分配权值，并根据所述区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果；精细化分割模块，用于根据所述区域分割结果进行图像膨胀操作和图像腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精细化分割的结果；深度赋值模块，用于根据所述精细化分割的结果构造图像前景区域和图像背景区域并分别进行深度赋值，以及将前景深度图和背景深度图进行融合以获得关键帧深度图进行输出。根据本专利技术实施例的交互式立体视频关键帧的制作装置，通过区域分割模块和精细化分割模块逐步求精的进行图像分割操作，快速生成高精度的分割结果，还能够方便的进行前景与背景的深度赋值，得到高质量的关键帧深度图，从而降低了立体视频的制作成本，提闻了立体视频关键巾贞制作的速度和精度，进而提闻了平面视频立体化转换的效率。在本专利技术的一个实施例中，所述预处理模块采用高斯滤波算法对所述关键帧进行图像去噪。在本专利技术的一个实施例中，所述区域分配权值包括区域连接权值和区域标记权值，所述区域标记权值包括前景标记权值和背景标记权值。在本专利技术的一个实施例中，所述精细化分割的结果以alpha通道的形式进行保存。在本专利技术的一个实施例中，所述深度赋值模块通过绘制的方式或模型的方式进行所述深度赋值，其中，深度赋值模型包括单一深度模型、线性渐变深度模型、球形渐变深度模型。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本文档来自技高网...

【技术保护点】
一种交互式立体视频关键帧的制作方法，其特征在于，包括如下步骤：S1，获取图片序列并选定所述图片序列中的关键帧，以及对所述关键帧进行图像去噪后调用K?means聚类算法将图像去噪后的关键帧中相似的像素点合并成区域，记录区域信息；S2，计算每个区域分配权值，并根据所述区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果；S3，根据所述区域分割结果进行图像膨胀操作和图像腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精细化分割的结果；S4，根据所述精细化分割的结果构造图像前景区域和图像背景区域并分别进行深度赋值，以及将前景深度图和背景深度图进行融合以获得关键帧深度图进行输出。

【技术特征摘要】
1.一种交互式立体视频关键帧的制作方法，其特征在于，包括如下步骤 Si，获取图片序列并选定所述图片序列中的关键帧，以及对所述关键帧进行图像去噪后调用K-means聚类算法将图像去噪后的关键帧中相似的像素点合并成区域，记录区域信息； S2，计算每个区域分配权值，并根据所述区域分配权值调用GrpahCut算法对关键帧进行区域分割以获得区域分割结果； S3，根据所述区域分割结果进行图像膨胀操作和图像腐蚀操作以构造关键帧的三分图，并调用贝叶斯抠图算法以获得精细化分割的结果； S4，根据所述精细化分割的结果构造图像前景区域和图像背景区域并分别进行深度赋值，以及将前景深度图和背景深度图进行融合以获得关键帧深度图进行输出。2.如权利要求1所述的交互式立体视频关键帧的制作方法，其特征在于，在所述步骤SI中，还包括 采用高斯滤波算法对所述关键帧进行图像去噪。3.如权利要求1所述的交互式立体视频关键帧的制作方法，其特征在于，所述区域分配权值包括区域连接权值和区域标记权值，所述区域标记权值包括前景标记权值和背景标记权值。4.如权利要求1所述的交互式立体视频关键帧的制作方法，其特征在于，所述步骤S3进一步包括如下步骤 读入所述区域分割结果并将其转换为单通道八位标记图像，以及保存至少两份标记图像的副本； 在所述至少两份标记图像的副本中的一个副本上进行图像膨胀操作，并在所述至少两份标记图像的副本中的另一个副本上进行图像腐蚀操作； 根据图像膨胀操作结果和图像腐蚀操作结果构造关键帧的三分图； 将关键帧图像和所述三分图作为输入参数，调用贝叶斯抠图算法以获得精细化分割的结果，其中，所述精细化分割的结果以alpha通道的形式进行保存。5.如权利要求1...

【专利技术属性】
技术研发人员：戴琼海，李振尧，
申请(专利权)人：清华大学，
类型：发明
国别省市：