一种基于区域连通图的立体视频深度图的制作方法和装置制造方法及图纸

本发明专利技术公开了一种基于区域连通图的立体视频深度图的制作方法，包括如下步骤：输入多帧图像，提取多帧图像的每一帧的图像信息，包括每帧图像的每个像素点信息；对像素点信息进行聚类得到聚类后的像素点信息，根据聚类后的像素点信息生成图像的区域连通图；输入深度值标记信息，区域连通图根据深度值标记信息生成区域深度图；当区域深度图满足所述第一预设条件时，根据区域深度图获取像素深度图，否则继续输入深度值标记信息直至区域深度图满足第一预设条件。本发明专利技术还公开了一种基于区域连通图的立体视频深度图的制作装置。采用本发明专利技术提供的方法和装置能够及时查看深度图的效果并进行必要修改，提高了人工标记的效率，缩短了深度图制作的时间。

【技术实现步骤摘要】

本专利技术涉及计算机图像处理领域，特别涉及一种基于区域连通图的立体视频深度图的制作方法和装置。
技术介绍
立体视频是视觉信息的一种重要的表示方式，其研究涉及计算机视觉、图像视频处理、模式识别等领域，在航空航天、军事训练、医疗教育、游戏传媒等领域有着广阔的应用前景。立体视频可以通过多种方式进行制作，例如立体摄像机拍摄、三维建模软件制作、平面视频立体化转换等。但是立体摄像机拍摄的制作成本较高，并且对设备校准、拍摄环境、 后期制作的要求很高。并且，三维建模软件制作需要专业人员花费大量精力进行场景、对象建模，其经济成本和制作时间同样居高不下。因此，专业人员通常采用通过计算机视觉、图像处理等技术将平面视频转换为立体视频，相对于立体视频制作技术具有成本低、速度快等优势。现有的平面视频转立体视频方法按照是否使用深度图分为两类1)不基于深度图的转换方法通过在原始平面图像上直接进行逐像素的平移操作，获得另一视角的图像。这种方法的人力成本很高，速度较慢且不便于调节视差大小；2)基于深度图的转换方法首先逐帧生成深度图，然后利用基于深度图的图像渲染(DIBR，Depth-Image-Based Rendering)算法将每一帧平面图像转换为立体图像。由于DIBR算法已经较为成熟，所以如何生成高质量的深度图成为本领域技术人员研究的重点。就目前而言，大多数深度图制作流程都可分为前景对象提取和深度赋值两个阶段。在前景对象提取阶段，操作者需要使用多种工具对图像进行分割从而得到所关注的前景物体。在接下来的深度赋值阶段中，操作者可以选择利用已有的深度赋值模型或各种画笔工具绘制各个对象的深度并组合成完整的深度图。操作者可能无法准确的将人工深度标记放置在合适的位置，因此需要一个标记——查看——再标记的人机交互过程。虽然像素深度图制作阶段能够生成精度较高的结果，但是该阶段耗时较长，人机交互效率较低，用户体验较差，不能快速、及时的查看深度图的效果并修改人工深度标记。这类深度图制作流程存在以下缺陷前景对象提取和深度赋值两个阶段都需要大量的人工操作，使得深度图的制作周期较长，制作成本较高，从而限制了平面视频转立体视频技术的推广。
技术实现思路
本专利技术的目的旨在至少解决上述技术缺陷之一。为此，本专利技术的第一个目的在于提出一种基于区域连通图的立体视频深度图的制作方法，该方法可以有效降低深度图制作的所需时间，减少深度图制作成本。本专利技术的第二个目的在于提出一种基于区域连通图的立体视频深度图的制作装置。为达到上述目的，本专利技术第一方面的实施例提出了一种基于区域连通图的立体视频深度图的制作方法，包括如下步骤向内存中输入多帧图像，提取所述多帧图像的每一帧的图像信息，所述图像信息包括每帧图像的每个像素点信息；对所述每帧图像的每个像素点信息进行聚类得到聚类后的像素点信息，根据所述聚类后的像素点信息生成每一帧图像的区域连通图；向内存中输入深度值标记信息，所述区域连通图根据所述深度值标记信息生成区域深度图；判断所述区域深度图是否满足第一预设条件后，当所述区域深度图满足所述第一预设条件时，根据所述区域深度图获取像素深度图，否则继续向所述内存中输入深度值标记信息直至所述区域深度图满足所述第一预设条件。根据本专利技术的一个实施例，在对所述每帧图像的每个像素点信息进行聚类之前， 还包括如下步骤对提取得到所述的每一帧的图像信息进行图像去噪。根据本专利技术的一个实施例，对所述每帧图像的每个像素点信息进行聚类，包括如下步骤设置初始种子点，将所述每帧图像划分成多个相同的矩形区域；计算所述每个矩形区域内像素点的五维空间坐标的平均值，并根据每个矩形区域内像素点的五维空间坐标的平均值得到所述初始种子点的五维空间坐标值；对所述每帧图像的每个像素点，计算所述像素点与所述像素点对应的搜索范围内的每个所述初始种子点的五维空间距离，并将所述像素点归类至所述五维空间距离最小的初始种子点所属的类别；更新聚类后的每个初始种子点的信息，并统计每一类别所包括的像素点信息，根据每一类别中五维空间坐标的平均值作为新的种子点的五维空间坐标值；计算所述每帧图像中每个像素点距离所述新的种子点的最小五维空间距离之和， 根据所述最小五维空间距离之和判断是否满足预设的聚类结束条件，当所述最小五维空间距离之和满足所述预设的聚类结束条件时，结束对像素点进行聚类，得到所述聚类后的像素点fn息。根据本专利技术的一个实施例，根据所述聚类后的像素点信息生成每一帧图像的区域连通图，包括如下步骤读取所述聚类后的像素点信息，获取所述每帧图像的每个像素点的所属类别信息，并遍历所述每帧图像中的每个像素点；对所述每帧图像中的每个像素点划分至相应的区域内，生成初始区域连通图；将所述初始区域连通图进行优化，得到所述每一帧图像的区域连通图。根据本专利技术的一个实施例，所述对所述每帧图像中的每个像素点划分至相应的区域内，包括如下步骤如果当前像素点已划分至一个区域内，则对所述当前像素点不作处理；如果所述当前像素点未划分至一个区域内，则生成一个大小为预设尺寸的区域， 然后将所述当期像素点的多个邻域像素点压入待处理堆栈中，从所述待处理堆栈中弹出一个像素点；如果所述弹出的像素点不是当前区域的一部分且所述弹出的像素点的类别与当前区域的类别相同，则将所述弹出的像素点加入至所述当前区域，再将所述弹出的像素点的多个邻域像素点压入所述待处理堆栈中，直至所述待处理堆栈中的所有像素点均被弹出且处理完毕后停止，得到初始区域连通图。根据本专利技术的一个实施例，将所述初始区域连通图进行优化，包括如下步骤判断所述初始区域连通图中每个区域的面积是否小于区域面积阈值，如果当前区域的面积小于所述区域面积阈值时，计算所述当前区域的五维空间坐标的平均值和所述当前区域的邻域的五维空间坐标的平均值的距离，并将所述当前区域合并到与所述当前区域的距离最近的所述邻域中，输出区域连通图。根据本专利技术的一个实施例，所述区域连通图根据所述深度值标记信息得到区域深度图，包括如下步骤对所述区域连通图的每个区域进行深度值标记，得到标记区域；在所述标记区域中，对于具有相同深度值的标记区域进行聚类，得到聚类后的标记区域；根据所述聚类后的标记区域计算区域深度权重，得到区域深度权重值；根据每一个所述区域权重值，通过下述公式获取每一个区域的区域深度值；deptho= 1 . X val χ WeightOvaltotal—weightO其中，depthO为区域的深度值，val表示深度标记信息中的深度值，WeightOval表示待获取区域深度值的区域对于深度值为val的标记的深度权重，total_WeightO表示所述深度值标记信息中所有标记的权重值之和；根据所述每一个区域的区域深度值得到区域深度图。根据本专利技术的一个实施例，所述根据所述区域深度图获取像素深度图，包括如下步骤对所述深度值标记信息进行聚类，得到聚类后的深度值标记信息；根据所述聚类后的深度值标记信息计算像素深度权重，得到像素权重值，并计算每一个像素的深度值；根据每一个的所述像素深度值生成像素深度图。根据本专利技术的一个实施例，所述生成像素深度图之后，进一步包括如下步骤判断所述像素深度图是否满足第二预设条件，当所述区域深度图满足第二预设条件时，根据所述区域深度图获取像素深度图，否则继续向所述内本文档来自技高网...

【技术保护点】
１．一种基于区域连通图的立体视频深度图的制作方法，其特征在于，包括如下步骤：向内存中输入多帧图像，提取所述多帧图像的每一帧的图像信息，所述图像信息包括每帧图像的每个像素点信息；对所述每帧图像的每个像素点信息进行聚类得到聚类后的像素点信息，根据所述聚类后的像素点信息生成每一帧图像的区域连通图；向内存中输入深度值标记信息，所述区域连通图根据所述深度值标记信息生成区域深度图；判断所述区域深度图是否满足第一预设条件，当所述区域深度图满足所述第一预设条件时，根据所述区域深度图得到像素深度图，否则继续向所述内存中输入深度值标记信息直至所述区域深度图满足所述第一预设条件。

【技术特征摘要】
1.一种基于区域连通图的立体视频深度图的制作方法，其特征在于，包括如下步骤 向内存中输入多帧图像，提取所述多帧图像的每一帧的图像信息，所述图像信息包括每帧图像的每个像素点信息；对所述每帧图像的每个像素点信息进行聚类得到聚类后的像素点信息，根据所述聚类后的像素点信息生成每一帧图像的区域连通图；向内存中输入深度值标记信息，所述区域连通图根据所述深度值标记信息生成区域深度图；判断所述区域深度图是否满足第一预设条件，当所述区域深度图满足所述第一预设条件时，根据所述区域深度图得到像素深度图，否则继续向所述内存中输入深度值标记信息直至所述区域深度图满足所述第一预设条件。2.如权利要求1所述的基于区域连通图的立体视频深度图的制作方法，其特征在于， 在对所述每帧图像的每个像素点信息进行聚类之前，还包括如下步骤对提取得到的所述每一帧的图像信息进行图像去噪。3.如权利要求1所述的基于区域连通图的立体视频深度图的制作方法，其特征在于， 对所述每帧图像的每个像素点信息进行聚类，包括如下步骤设置初始种子点，将所述每帧图像划分成多个相同的矩形区域； 计算所述每个矩形区域内像素点的五维空间坐标的平均值，并根据每个矩形区域内像素点的五维空间坐标的平均值得到所述初始种子点的五维空间坐标值。；对所述每帧图像的每个像素点，计算所述像素点与所述像素点对应的搜索范围内的每个所述初始种子点的五维空间距离，并将所述像素点归类至所述五维空间距离最小的初始种子点所属的类别；更新聚类后的每个初始种子点的信息，并统计每一类别所包括的像素点信息，根据每一类别中五维空间坐标的平均值作为新的种子点的五维空间坐标值；计算所述每帧图像中每个像素点距离所述新的种子点的最小五维空间距离之和，根据所述最小五维空间距离之和判断是否满足预设的聚类结束条件，当所述最小五维空间距离之和满足所述预设的聚类结束条件时，结束对像素点进行聚类，得到所述聚类后的像素点 fn息ο4.如权利要求3所述的基于区域连通图的立体视频深度图的制作方法，其特征在于， 根据所述聚类后的像素点信息生成每一帧图像的区域连通图，包括如下步骤读取所述聚类后的像素点信息，获取所述每帧图像的每个像素点的所属类别信息，并遍历所述每帧图像中的每个像素点；对所述每帧图像中的每个像素点划分至相应的区域内，生成初始区域连通图； 将所述初始区域连通图进行优化，得到所述每一帧图像的区域连通图。5.如权利要求4所述的基于区域连通图的立体视频深度图的制作方法，其特征在于， 对所述每帧图像中的每个像素点划分至相应的区域内，包括如下步骤如果当前像素点已划分至一个区域内，则对所述当前像素点不作处理； 如果所述当前像素点未划分至一个区域内，则生成一个大小为预设尺寸的区域，然后将所述当前像素点的多个邻域像素点压入待处理堆栈中，从所述待处理堆栈中弹出一个像素占.如果所述弹出的像素点不是当前区域的一部分且所述弹出的像素点的类别与当前区域的类别相同，则将所述弹出的像素点加入至所述当前区域，再将所述弹出的像素点的多个邻域像素点压入所述待处理堆栈中，直至所述待处理堆栈中的所有像素点均被弹出且处理完毕后停止，得到初始区域连通图。6.如权利要求5所述的基于区域连通图的立体视频深度图的制作方法，其特征在于， 将所述初始区域连通图进行优化，包括如下步骤判断所述初始区域连通图中每个区域的面积是否小于区域面积阈值，如果当前区域的面积小于所述区域面积阈值时，计算所述当前区域的五维空间坐标的平均值和所述当前区域的邻域的五维空间坐标的平均值的距离，并将所述当前区域合并到与所述当前区域的距离最近的所述邻域中，输出区域连通图。7.如权利要求1所述的基于区域连通图的立体视频深度图的制作方法，其特征在于， 所述区域连通图根据所述深度值标记信息得到区域深度图，包括如下步骤对所述区域连通图的每个区域进行深度值标记，得到标记区域；在所述标记区域中，对于具有相同深度值的标记区域进行聚类，得到聚类后的标记区域；根据所述聚类后的标记区域计算区域深度权重，得到区域深度权重值；根据每一个所述区域权重值，通过下述公式获取每一个区域的区域深度值；depthO=---V val χ weightO,,.totalweightOtf& val其中，depthO为区域的深度值，val表示深度标记信息中的深度值，WeightOval表示待获取区域深度值的区域对于深度值为val的标记的深度权重，total_WeightO表示所述深度值标记信息中所有标记的权重值之和；根据所述每一个区域的区域深度值得到区域深度图。8.如权利要求1所述的基于区域连通图的立体视频深度图的制作方法，其特征在于， 所述根据所述区域深度图得到像素深度图，包括如下步骤对所述深度值标记信息进行聚类，得到聚类后的深度值标记信息；根据所述聚类后的深度值标记信息计算像素深度权重，得到像素权重值，并计算每一个像素的深度值；根据所述的每一个像素深度值生成像素深度图。9.如权利要求8所述的基于区域连通图的立体视频深度图的制作方法，其特征在于， 所述生成像素深度图之后，进一步包括如下步骤判断所述像素深度图是否满足第二预设条件，当所述区域深度图满足预设条件时，根据所述区域深度图获取像素深度图，否则继续向所述内存中输入深度值标记信息直至所述像素深度图满足所述第二预设条件。10.一...

【专利技术属性】
技术研发人员：戴琼海，李振尧，王好谦，
申请(专利权)人：清华大学，
类型：发明
国别省市：11