一种基于交互式的立体图像分割方法技术

本发明专利技术提供了一种基于交互式的立体图像分割方法。原本的立体图像分割方法要求用户在左右视图中涂上一致性的前景和背景线条，这项工作非常繁琐。本方法把单个图像分割的方法扩展到了立体图像分割中，仅需要在左视图中涂前景和背景线条，就能获得一致性的立体图像分割结果。首先用户交互式的在左视图涂前景和背景线条，然后采样涂色线条、图像边界点以及提取左右视图特征匹配点，利用这些顶点和采样线段用限制性Delaunay三角网剖分方法对左视图构建三角形网格，然后构建能量最优化方程，求解右视图与左视图一致的网格，从而获得左右视图一致性的涂色线条；随后构建了特征向量用于搜索每个像素的最近邻域像素，最后构建非局部线性优化模型，分别对立体图像左视图和右视图进行图像分割。

【技术实现步骤摘要】

本专利技术涉及一种图像分割方法，尤其是一种基于交互式的立体图像分割方法。
技术介绍
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。毋庸置疑，图像分割是数字图像处理中最重要的组成部分之一。图像分割技术主要应用于医学图像，机器视觉，目标检测等领域。因为图像分割问题本质上是一个欠约束的问题。因此大多数图像分割方法需要用户提供额外的信息，才能实现对图像分割的求解。根据提供信息的方式，目前主流的图像分割方法主要分为如下两种方式：(1)提供三分图trimap，即用户预先划分为三个区域，包括确定的前景、确定的背景及未知区域。trimap越精确，越有利于问题的精确求解，但用户的交互量也会随之增加。(2)用户使用少量的用户线条，即用户在确定的区域涂上前景线条和背景线条，这种方式一般仅需要用户涂少量的线条，就能获得很好的图像分割效果，而且便于用户的交互，因此最近几年较多的方式采用了这种方式。图像分割的目标是尽量减少用户的输入信息，同时能精确、快速的获得图像分割的区域；在用户提供额外信息的前提下，大部分的图像分割方法利用了局部邻域内像素的强关联性，对前景不透明的平滑改变进行了约束。参见JianbingShen，YunfanDu，andXuelongLi.InteractiveSegmentationUsingConstrainedLaplacianOptimization.IEEETransactionsonCircuitsandSystemsforVideoTechnology.2014，24(7)：1088-1100。但是这种方法仅仅考虑了局部邻域内像素的强关联性，用户提供额外的前景和背景信息并不能进行远距离的传播。因此最近几年较多学者开始研究非局部的邻域像素之间的关联性，由于像素之间的信息可以通过远距离的传播，因此相对于局部邻域内像素的强关联性方法，基于非局部的邻域像素之间的关联性的方法大大减少了用户输入的涂色线条。参见QifengChen，DingzeyuLiandChi-KeungTang.KNNMatting.IEEETransactionsonPatternAnalysisandMachineIntelligence.2013，35(9)：2175-2188。随着立体图像和视频在最近几年变得越来越流行，立体图像和视频编辑的需求逐渐升温。而立体图像分割则是立体图像和视频编辑领域的一个富有挑战性的热点课题。立体图像分割相比于单个图像分割提出了更多的要求，立体图像分割的物体必须要保证左右视图的一致性。针对基于涂色线条的立体图像，如何输入左右视图一致性的涂色线条成为了一个难点。最简单直观的方法是用户在左视图中输入涂色线条后，利用立体图像视差图把涂色线条迁移至右视图。但是立体图像存在遮挡问题，且目前还没有一个方法能获得精确的立体图像视差值，因此使用这种方法进行涂色线条的迁移存在较大的误差，也就不能保证最终的立体图像分割的物体具有左右视图的一致性。Price等人把左右视图视为一个整体，用户可以左右视图中涂前景色和背景色，但是当左右视图中存在两个或两个以上颜色相似的物体，且我们仅需要分割其中一个物体时，则需要提供左右视图一致性涂色线条，否则会出现立体图像分割左右视图不一致的效果。参见BrianL.PriceandScottCohen.StereoCut：ConsistentInteractiveObjectSelectioninStereoImagePairs.ComputerVision(ICCV)，2011IEEEInternationalConferenceon.2011，pp.1148-1155。为了保持立体图像分割的一致性，用户需要在左右视图中分别涂前景和背景色，为了减少用户的交互，Tasli等人了提出了一种立体图像分割方法，用户仅需要在左视图中涂前景和背景线条，然后通过ORB(OrientedfastandrotatedBRIEF)特征检测进行涂色线条迁移，但是该方法的质量完全依赖于特征检测的效果，当涂色线条的位置特征点无法检测的时候，立体图像分割结果就会产生错误。参见H.EmrahTasliandA.AydinAlatan.Userassistedstereoimagesegmentation.3DTV-Conference：TheTrueVision-Capture，TransmissionandDisplayof3DVideo.2012，pp.1-4。
技术实现思路
本专利技术的目的：本专利技术提出了一种基于交互式的立体图像分割方法，该方法把图像分割技术应用到了立体图像分割中，用户仅仅需要在立体图像左视图中图涂前景和背景线条，该方法通过构建左右一致性网格自动把涂色线条一致性的迁移到右视图中，另外还设计了一个非局部线性优化模型，分别对立体图像左视图和右视图进行图像分割。具有很强的灵活性和广阔的适用性。该方法设计的非局部线性优化模型减少了用户的交互，而且一致性的线条迁移技术使用户不需要分别在左右视图中涂一致性的线条就能产生一致性的图像分割效果。本专利技术提供一种基于交互式的立体图像分割方法，其包括以下步骤：1)输入待处理立体图像，将其作为输入图像，并通过交互式的方式在输入图像的左视图涂前景和背景线条，其中涂色前景和背景线条标记为S；2)提取左视图中涂色前景和背景线条的中心线L，并进行均匀采样获得采样点(pij，|i＝1..nc，j＝1..ni)，其中ni和nc分别为中心线的采样点数和线条数，对输入图像的左视图沿着图像的边界进行均匀采样获得采样点B，对输入图像的左视图和右视图进行SIFT(Scale-invariantfeaturetransform)特征点匹配，获得匹配对其中nF为匹配对数量；3)采用限制性的Delaunay三角网剖分方法对左视图构建三角形网格，其中，{Fkl|k=1..nF本文档来自技高网...

【技术保护点】
一种基于交互式的立体图像分割方法，其特征在于：其包括以下步骤：1)输入待处理立体图像，将其作为输入图像，并通过交互式的方式在输入图像的左视图涂前景和背景线条，其中涂色前景和背景线条标记为S；2)提取左视图中涂色前景和背景线条的中心线L，并进行均匀采样获得采样点(Pij，|i＝1..nc，j＝1..ni)，其中ni和nc分别为中心线的采样点数和线条数，对输入图像的左视图沿着图像的边界进行均匀采样获得采样点B，对输入图像的左视图和右视图进行SIFT(Scale‑invariant feature transform)特征点匹配，获得匹配对其中nF为匹配对数量；3)采用限制性的Delaunay三角网剖分方法对左视图构建三角形网格，其中，{Fkl|k=1..nF}∪{Pij|i=1..nc,j=1..ni}∪B]]>作为顶点限制项，{Pi1lPi2l,Pi2lPi2l,...Pini-1lPinil|i=1..nc}]]>作为线段限制项，然后构建能量最优化方程，获得右视图与左视图一致性的网格；4)左视图根据步骤2)中获得的采样点(Pij，|i＝1..nc，j＝1..ni)重建含涂色线条左视图，右视图根据一致性网格中相应的网格顶点生成含涂色线条右视图；5)分别对重建的含涂色线条左视图和含涂色线条右视图进行特征向量构建；6)基于步骤5)中获得的特征向量，用KNN(K‑Nearest Neighborhood)分别求出立体图像左视图和右视图中每个像素最近的10个像素，作为对应像素的最近邻域像素7)构建非局部线性优化模型，分别对立体图像左视图和右视图进行图像分割。...

【技术特征摘要】
2015.09.29 CN 20151065368201.一种基于交互式的立体图像分割方法，其特征在于：其包括以下步骤：1)输入待处理
立体图像，将其作为输入图像，并通过交互式的方式在输入图像的左视图涂前景和背景线
条，其中涂色前景和背景线条标记为S；
2)提取左视图中涂色前景和背景线条的中心线L，并进行均匀采样获得采样点(Pij，|i
＝...

【专利技术属性】
技术研发人员：厉旭杰，赵汉理，黄辉，
申请(专利权)人：温州大学，
类型：发明
国别省市：浙江;33