一种基于多层次图结构的交互式立体图像快速分割方法技术

一种基于多层次图结构的交互式立体图像快速分割方法，首先输入一组立体图像，通过立体图像匹配算法得到视差图。在原始图像左右任意一图中指定部分前、背景。根据指定部分应用CUDA并行计算的方法建立前、背景的颜色以及视差分布的先验统计模型。通过对原始图像进行高斯滤波、下采样得到粗糙尺度较小的图像，然后将粗糙图像与原始图像一起构成多层次图结构。鉴于目前立体图像分割存在分割模型复杂，计算效率低的问题。本发明专利技术在基于视差图的立体图像同步分割的理论框架下，探索新的分割方法。力图简化模型的复杂度，并行处理计算密集型的任务，提高立体图像分割速度，实现实时分割常见尺寸立体图像的目的。

【技术实现步骤摘要】

本专利技术属于图像处理、计算机图形学和计算机视觉等交叉领域，涉及一种基于多 层次图结构的交互式立体图像快速分割方法。
技术介绍
近年来3D技术不断发展，从3D立体电视到3D立体电影，对3D内容的创作以及3D 编辑工具的开发提出了迫切的需求。交互式立体图像分割是其中一项重要工作，它是许多 应用最重要处理的环节，像物体识别、追踪，图像分类，图像编辑以及图像重建等。目前立体 图像分割已经应用于医疗图像中器官的分割与分析，物体的追踪，场景的理解等实际生活 中。因此，立体图像分割效率成为重要的研究方向。 相比单幅图像的分割，交互式立体图像的智能分割起步较晚。目前图像分割方法 主要存在两方面的挑战：计算准确率和计算速度。这是一对矛盾的问题，很难在两者之间 达到较好的平衡。在提高计算准确率方面，人们做了很多的努力。Price等人在2011年的 ICCV上发表的"StereoCut :Consistent Interactive Object Selection in Stereo Image Pairs"中，利用立体图像对间的视差信息来提高立体图像分割的准确率度。其将图像中每 个像素的颜色、梯度、视差等信息融入传统的图割理论中，通过求解最大流来得到立体图像 边界优化的结果。这种方法虽然分割精度较高，但是构建的分割模型边与节点的数目庞大， 计算复杂，效率低下。目前分割算法多通过改变graph cut算法的具体实施过程来提高分 割速度。对于立体图像像素数目多，边结构复杂的问题，仅改变graph cut算法的实施过程 无法从根本上解决。同时，在立体图像分割过程中，存在很多单指令流多数据流计算密集型 的任务。传统方法没有很好的利用这种任务可并行执行的特点，串行处理，使效率低，消耗 大量的时间，从而使分割效率低下。
技术实现思路
鉴于目前立体图像分割存在分割模型复杂，计算效率低的问题。本专利技术在基于视 差图的立体图像同步分割的理论框架下，探索新的分割方法。力图简化模型的复杂度，并行 处理计算密集型的任务，提高立体图像分割速度，实现实时分割常见尺寸立体图像的目的。 为实现这个目标，本专利技术的技术方案为：首先输入一组立体图像，通过立体图像匹 配算法得到视差图。在原始图像左右任意一图中指定部分前、背景。根据指定部分应用CUDA 并行计算的方法建立前、背景的颜色以及视差分布的先验统计模型。通过对原始图像进行 高斯滤波、下采样得到粗糙尺度较小的图像，然后将粗糙图像与原始图像一起构成多层次 图结构。以此为基础，在图割理论框架下形式化多层次图结构中的颜色、梯度以及视差等约 束，构造能量函数。为了提高效率，应用CUDA并行计算的方法处理建图过程。采用图的最 大流/最小割算法求解多层次图的全局最优化结果。然后统计边界处误差较大的像素点， 采用传统的图割理论，对统计的边界像素点进行局部优化。将全局处理与局部优化的结果 融合在一起，构成最后的分割结果。若用户没有得到理想的效果，还可以继续对图中错误区 域进行勾画，直到得到理想结果。 与现有技术相比，本专利技术具有以下优点：本专利技术通过构架基于多层次图结构的立 体图像分割模型，简化了边的复杂度，显著提高了处理的速度。同时，将一些计算密集型的 单指令流多数据流的任务用CUDA技术并行处理，节省大量时间。实验证明：相比现有方法， 在同等交互量的前提下，本专利技术所述方法在分割准确率以及一致性变化不大的情况下，可 以显著提高分割速度。【附图说明】 图1为本专利技术所涉及方法的流程图； 图2为本专利技术应用实例实验结果：(a)、（b)为输入的左、右图像，（c)、（d)是采 用 Price 等人在 2011 年的 ICCV 上发表的 "StereoCut 〖Consistent Interactive Object Selection in Stereo Image Pairs"中的方法分割的结果；（e)、（f)为本专利技术的分割结 果；两种方法所用的用户输入在（c)、（e)图中显示，其中第一线条标识前景，第二线条标识 背景。同时给出了两种方法分割的准确率以及分割的时间。本实施例测试所用笔记本电脑 配置为：CPU 处理器 Intel (R)Pentium(R)CPU B95002. IOGHz 2. 10GHz ;Gpu 处理器 NVIDIA GeForce GT 540M〇【具体实施方式】 下面结合附图和【具体实施方式】对本专利技术做进一步说明。 本专利技术的流程如图1所示，具体包括如下步骤： 步骤一，匹配立体图像。 读入一对立体图像I = {I1，Γ}，I1与Γ分别表示左、右图像。通过立体匹配算法计 算得到左、右图像对应的视差图，分别用D1与Df表示。立体匹配算法采用的是Felzenszwalb 等人在 CVPR04 上发表的论文"Efficient Belief Propagation for Early Vision" 中提 出的算法。 步骤二，添加前、背景线索。 用户通过所设计的界面在其中任意一张图像中指定部分前、背景。本专利技术实施采 用类似于 Price 等人在 2011 年的 ICCV 上发表的 "StereoCut 〖Consistent Interactive Object Selection in Stereo Image Pairs"中用到的方法，利用鼠标、触摸屏或者手写笔 等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素。如图2(e)所示，第 一线条覆盖的像素属于前景，第二线条覆盖的像素属于背景。本专利技术的后续步骤对于该步 骤中所用的前、背景像素指定方式并无限制，其它方式亦可使用。 步骤三，建立前、背景的颜色、视差先验模型。 用F表示用户指定的前景像素集合，B表示用户指定的背景像素集合；前、背景的 颜色、视差的先验模型采用GMM、直方图以及多个类簇的形式表达。本专利技术采用的是多类簇 形式，通过统计对应像素集合的颜色、视差得到类簇。为了提高处理速度，采用基于CUDA 并行的Kmeans算法，对F与B中的像素对应的颜色值、视差值分别进行聚类。处理颜色模 型的具体过程如下：每个线程处理一个像素，计算每个像素到所有前景、背景类簇的距离， 选择最近的距离，将像素聚类到对应的类簇中。得到N。个前景颜色类簇M。 个背景颜色类簇[QUm=：!Μ,，上述颜色类簇分别表示前景、背景的颜色分布统计模型；同 时，用同样的方法，对F和B中的像素对应的视差值分别进行聚类，得到义个前景视差类簇 JVa，ΜΛ背景视差类簇{墙}咖1:,....,Ma，上述视差类簇分别表示前景、背景的视差分 布统计模型；在本实施例中，N。= M。= 64 ;Nd= Md= 16。 步骤四，基于多层次图结构的全局优化； 由于图像中前景、背景各自的分布比较聚集即前、背景内部像素差异较小，边界处 像素差异较大。利用这一特性，用区域具有代表性的像素来表示邻域所有像素。本方法采 用高斯滤波、下采样的方式，得到代表性的像素点。进而得到粗糙的尺度较小的图像。将粗 糙图像与原始图像融合，构成多层次图结构。对多层次图结构的模型进行全局处理。将原 始立体图像对表示为I = {ΛΓ}，粗糙的立体图像对表示为Γ= {??'Γ'?，I1、I1^与 Γ、Γ τ分别本文档来自技高网...

【技术保护点】
一种基于多层次图结构的交互式立体图像快速分割方法，其特征在于：该方法首先输入一组立体图像，通过立体图像匹配算法得到视差图；在原始图像左右任意一图中指定部分前、背景；根据指定部分应用CUDA并行计算的方法建立前、背景的颜色以及视差分布的先验统计模型；通过对原始图像进行高斯滤波、下采样得到粗糙尺度较小的图像，然后将粗糙图像与原始图像一起构成多层次图结构；以此为基础，在图割理论框架下形式化多层次图结构中的颜色、梯度以及视差等约束，构造能量函数；为了提高效率，应用CUDA并行计算的方法处理建图过程；采用图的最大流/最小割算法求解多层次图的全局最优化结果；然后统计边界处误差较大的像素点，采用传统的图割理论，对统计的边界像素点进行局部优化；将全局处理与局部优化的结果融合在一起，构成最后的分割结果；若用户没有得到理想的效果，继续对图中错误区域进行勾画，直到得到理想结果；其特征在于：该方法具体包括如下步骤：步骤一，匹配立体图像；读入一对立体图像I＝{Il，Ir}，Il与Ir分别表示左、右图像；通过立体匹配算法计算得到左、右图像对应的视差图，分别用Dl与Dr表示；步骤二，添加前、背景线索；用户通过所设计的界面在其中任意一张图像中指定部分前、背景；利用鼠标、触摸屏或者手写笔等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素；第一线条覆盖的像素属于前景，第二线条覆盖的像素属于背景；本方法的后续步骤对于该步骤中所用的前、背景像素指定方式并无限制，其它方式亦可使用；步骤三，建立前、背景的颜色、视差先验模型；用F表示用户指定的前景像素集合，B表示用户指定的背景像素集合；前、背景的颜色、视差的先验模型采用GMM、直方图以及多个类簇的形式表达；本方法采用的是多类簇形式，通过统计对应像素集合的颜色、视差得到类簇；为了提高处理速度，采用基于CUDA并行的Kmeans算法，对F与B中的像素对应的颜色值、视差值分别进行聚类；处理颜色模型的具体过程如下：每个线程处理一个像素，计算每个像素到所有前景、背景类簇的距离，选择最近的距离，将像素聚类到对应的类簇中；得到Nc个前景颜色类簇Mc个背景颜色类簇上述颜色类簇分别表示前景、背景的颜色分布统计模型；同时，用同样的方法，对F和B中的像素对应的视差值分别进行聚类，得到Nd个前景视差类簇Md个背景视差类簇上述视差类簇分别表示前景、背景的视差分布统计模型；在本实施例中，Nc＝Mc＝64；Nd＝Md＝16；步骤四，基于多层次图结构的全局优化；由于图像中前景、背景各自的分布比较聚集即前、背景内部像素差异较小，边界处像素差异较大；利用这一特性，用区域具有代表性的像素来表示邻域所有像素；本方法采用高斯滤波、下采样的方式，得到代表性的像素点；进而得到粗糙的尺度较小的图像；将粗糙图像与原始图像融合，构成多层次图结构；对多层次图结构的模型进行全局处理；将原始立体图像对表示为I＝{Il,Ir}，粗糙的立体图像对表示为Iτ＝{Il,τ,Ir,τ}，Il、Il,τ与Ir、Ir,τ分别表示左、右图像；将原始立体图像与粗糙立体图像共同表示成一个无向图G＝<ν,ε>；其中，ν为无向图G中的节点集合，ε为边的集合；无向图G中的每个顶点对应立体图像I与Iτ中的一个像素；交互式立体图像快速分割是在输入笔画的约束下，为原始立体图像对中的每个像素pi赋予一个标签xi；xi∈{1,0}，分别表示前、背景；无向图G中的边包含每个像素与源点、汇点的连接边，图像内相邻像素的连接边，以及视差图决定的立体图像对应点之间的连接边；同时还包含粗糙层与原始图像的父子节点之间的连接边；令为粗糙层图像像素点；由于粗糙层是对原始层进行下采样得到的，所以一个代表采样前的I图像中Nl*Nl的区域内的像素，在本实施例中Nl＝3；把求解上述基于多层次图结构的立体图像快速分割问题定义为以下目标能量函数的最优化问题：E(X)=wunaryΣpiτ∈IτEunary(piτ)+wintraΣ(piτ,pjτ)∈NintraEintra(piτ,pjτ)+winterΣ(pil,τ,pjr,τ)∈NinterEinter(pil.τ,pjr,τ)+wpaternityΣ(piτ,pi,j)∈NpaternityEpaternity(piτ,pi,j)---(1)]]>其中是一元项，表示粗糙层像素的颜色、视差与前、背景颜色和视差统计模型的相似性，也叫做数据项；相似性越高，值越大；是粗糙层图像内二元项，反映了粗糙层图像所有像素与四邻域之间的差异，Νintra表示包含左右粗糙...

【技术特征摘要】

【专利技术属性】
技术研发人员：马伟，邱晓慧，杨璐维，邓米克，张明亮，段立娟，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11