一种基于卷积神经网络的立体图像分割方法技术

本发明专利技术实施例公开了一种基于卷积神经网络的立体图像分割方法，包括通过立体视差图中的相干性视差像素点，把左分割图迁移到右分割图；训练卷积神经网络，提取左视图中的特征和相应的左分割图的值为训练集，训练完后，提取右视图中的特征为输入，产生右视图目标概率图，根据目标概率图，提取可信的像素点；根据相干性视差分割图迁移像素点和目标概率图中的可信像素点，合成右视图分割初始化采样点；利用能量最优化模型，求解右视图分割图，最后对右视图分割图进行二值化，获得最终右视图分割结果。实施本发明专利技术，避免了立体图像分割质量过度依赖于立体视差图的精度，同时采用卷积神经网络解决了立体图像遮挡区域分割效果差的问题，获得了高质量的立体图像分割效果。

【技术实现步骤摘要】
一种基于卷积神经网络的立体图像分割方法
本专利技术属于图像处理
，具体是指一种基于卷积神经网络的立体图像分割方法。
技术介绍
图像分割就是把图像分成若干个特定的、具有独特性质的区域并提取出感兴趣目标的技术和过程。现有技术中，对于单幅图像分割取得了巨大的成功，但左右一致性的立体图像分割仍然是一个非常具有挑战性的问题。随着立体图像和视频在最近几年变得越来越流行，立体图像和视频编辑的需求逐渐升温。而立体图像分割则是立体图像和视频编辑领域的一个富有挑战性的热点课题。立体图像分割相比于单个图像分割提出了更多的要求，立体图像分割的物体必须要保证左右视图的一致性。一种最直接的立体图像分割方法是对立体图像左右视图分别采用单个图像分割的方法进行图像分割操作，但是这种方法不但需要消耗大量的时间，而且很难保证获得左右一致性的立体图像分割结果。目前，单个图像的分割技术已经比较成熟，因此，有众多学者开始研究结合立体视差图和单个图像的分割技术，自动产生左右一致性的立体图像分割结果。但是到目前为止还没有一个方法能精确的获得立体视差图，而基于立体视差图的立体图像分割的效果很大程度上都依赖于立体视差图的精度，因此导致此类方法的精度一直很难满足立体图像分割的要求。立体图像分割技术是一项具有挑战性的热点课题，主要目标是获得左右一致性的立体分割效果。目前主流的立体图像分割方法大致可以分为三类：基于区域的立体图像分割方法、基于着色线条的立体图像分割方法和基于轮廓提取的立体图像分割方法。其中，基于区域的立体图像分割方法采用左右视图中每个像素之间的立体相关性，根据立体图像左视图(右视图)的分割结果来推导出对应的立体图像右视图(左视图)分割结果。具有代表性的基于区域的立体图像分割方法是由Lo等人提出的立体图像复制粘帖方法，他们提出了一个立体图像复制粘帖工具，通过立体视差图，建立了立体左右视图的一致性关系，从而根据左分割图结果来获得一致性的立体右分割图结果。这种基于区域的立体图像分割方法效果严重依赖于立体视差图的质量。参见：LoW-Y,vanBaarJ,KnausC,ZwickerM,GrossM.Stereoscopic3Dcopy&paste.In:ACMTransactionsonGraphics(TOG),2010.vol6.ACM,p147。Price等人[10]通过在立体图像左右视图中交互式的采用着色线条来选择要分割的物体，然后通过建立概率密度函数来确定左右视图的一致性，最后采用GraphCut同时对立体图像左右视图进行图像分割。同样，这种方法的效果依赖于概率密度函数。参见：PriceBL,CohenS.Stereocut:Consistentinteractiveobjectselectioninstereoimagepairs.In:ComputerVision(ICCV),2011IEEEInternationalConferenceon,2011.IEEE,pp1148-1155。为了提高立体图像分割的效率，Ma等人提出采用立体图像的稀疏立体一致性来代替原先的稠密立体视差图，从而提高立体图像分割的效率。参见：MaW,YangL,ZhangY,DuanL(2016)Fastinteractivestereoimagesegmentation.MultimediaToolsandApplications75(18):10935-10948。对于复杂的场景，在能量最优化过程中仅考虑数据项和平滑项很难获得高质量的立体图像分割结果，Peng等人在最优化过程中增加了高阶能量项，通过立体图像的视差图和统计信息来提高立体图像左右视图分割的一致性。参见：J.Peng,JianbingShen,andX.Li(2016)High-OrderEnergiesforStereoSegmentation,IEEETrans.onCybernetics,46(7):1616-1627。基于着色线条的立体图像分割方法不同于基于区域的立体图像分割方法，该方法通过立体一致性，仅仅迁移用户的着色线条，然后分别对立体图像左右视图单独进行立体图像分割。用户使用少量的用户线条，即用户在确定的区域涂上前景线条和背景线条，这种方式一般仅需要用户涂少量的线条，在线条迁移过程中也允许一定的误差，这些误差会在图像分割能量最优化过程中消除。然而针对立体图像，用户需要在立体图像左右视图中分别进行前景和背景着色线条的输入，这样不但增加了用户的工作量，而且需要用户具有一定的专业水平。因为图像分割是在着色线条迁移后，采用能量最优化方法对左右视图分别进行图像分割，因此在用户输入着色线条时也无法预测能否获得左右一致性的立体分割效果，给用户涂色带来了一定难度，需要多次编辑着色线条才能获得左右一致性的立体分割效果。Tasli等人提出利用稀疏立体一致性，把立体图像左图中的着色线条自动迁移到立体图像右图中，随后利用基于图割的能量最优化模型对立体图像左右视图分别进行图像分割操作，该方法利用立体相关性仅仅迁移了着色线条，而细微的着色线条错误不会对图像分割的结果产生影响，从而提高了立体图像分割的效果。但是该方法依然需要计算立体相关性，以及分别对立体图像左右视图进行图像分割操作，需要消耗大量的时间。参见：TasliHE,AlatanAA(2013)Userassisteddisparityremappingforstereoimages.SignalProcessing:ImageCommunication28(10):1374-1389。Luo等人提出了一个立体图像克隆方法，在该方法中，用户仅仅需要在一个视图中输入大概的轮廓线条信息，通过左右一致性网格自动把轮廓线条信息迁移到另一视图中，他们证明了通过左右一致性网格的方法的效果要比通过立体视差图的效果要好很多，但是这种方法因为没有考虑到立体图像的遮挡问题，因此在轮廓迁移过程中碰到遮挡区域时就会出现较大的误差。参见：LuoS-J,ShenI-C,ChenB-Y,ChengW-H,ChuangY-Y(2012)Perspective-awarewarpingforseamlessstereoscopicimagecloning.ACMTransGraph31(6):1-8。Ma等人在基于着色线条的单个图像分割方法基础上，把立体视差图加入到GraphCut能量最优化框架中，把立体图像左右视图做为一个整体进行图像分割，同样这种方法的立体图像分割效果依赖于立体视差图的质量。参见：MaW,QinY,YangL,XuS,ZhangX(2016)InteractiveStereoImageSegmentationWithRGB-DHybridConstraints.IEEESignalProcessingLetters23(11):1533-1537。基于着色线条的立体图像分割方法通过着色线条迁移技术虽然大大的减少了用户的交互，但是线条迁移后仍然需要对立体图像左右视图分别进行能量最优化的图像分割，而能量最优化的图像分割通常是比较耗时的。而基于区域的立体图像分割方法需要整个立体视差图的信息，但是目前还没有一个完美的立体视差图的计算方法。最近几年学者开本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的立体图像分割方法，其特征在于包括以下步骤：步骤(1)：通过立体视差图中的相干性视差像素点，把左分割图迁移到右分割图，具体包括：(1.1)输入立体图像左右视图，采用立体匹配算法，分别计算左视差图

【技术特征摘要】
1.一种基于卷积神经网络的立体图像分割方法，其特征在于包括以下步骤：步骤(1)：通过立体视差图中的相干性视差像素点，把左分割图迁移到右分割图，具体包括：(1.1)输入立体图像左右视图，采用立体匹配算法，分别计算左视差图和右视差图(1.2)根据左视差图和右视差图计算右视差图中的相干性视差像素点；(1.3)通过相干性视差像素点，把左分割图迁移到右分割图，产生右视图分割采样点；步骤(2)：训练卷积神经网络，提取左视图中的特征和相应的左分割图的值为训练集，训练完后，提取右视图中的特征为输入，产生右视图目标概率图，根据目标概率图，提取可信的像素点；步骤(3)：根据相干性视差分割图迁移像素点和目标概率图中的可信像素点，合成右视图分割初始化采样点；步骤(4)：利用能量最优化模型，求解右视图分割图，最后对右视图分割图进行二值化，获得最终右视图分割结果。2.根据权利要求1所述的立体图像分割方法，其特征在于：步骤(1.2)中计算右视差图中的相干性视差像素点具体为：右视差图中的相干性视差点满足如下要求：式中：(x,y)为像素的坐标值、和分别为左视差图和右视差图；即一个像素从右视图到左视图的视差值和从左视图到右视图的视差值的差小于1个像素，则认为该像素点为相干性像素点。3.根据权利要求1所述的立体图像分割方法，其特征在于：在步骤(1.3)中通过相干性视差像素点把左分割图迁移到右分割图，具体为：左分割图通过相干性像素点迁移至右分割图：式中：FD和BD分别为通过相干性像素点把左分割图迁移至右分割图的前景和背景采样点；(x,y)为像素的坐标值；PC为右视差图中的相干性像素点集合；Ml为左视图分割图；通过相干性像素点迁移，获得了右视图进行分割的部分初始采样点。4.根据权利要求1所述的立体图像分割方法，其特征在于：在步骤(2)中所述的训练卷积神经网络，提取左视图中的特征和相应的左分割图的值为训练集，训练完后，提取右视图中的特征为输入，产生右视图目标概率图，根据目标概率图，提取可信的像素点，具体包括：(2.1)构建卷积神经网络，包括提取图像补丁特征层，提取空间特征层，合并图像补丁特征和空间特征层，分类层；图像补丁特征层的输入为图像3×3×c的补丁，其中c为图像的通道数，图像补丁特征层由四组卷积层+ReLU激活函数和池化层组成，每组卷积层+ReLU激活函数和池化层进行如下操作：fpool(fReLU(fconv(p)))；fconv对应卷积层，fReLU对应ReLU激活函数，fpool对应池化层；图像补丁特征层连接顺序为C1-M1-C2-M2-C3-M3-C4-M4，其中C1层、C2层、C3层和C4层为卷积层+ReLU激活函数，C1层卷积核为64种类型的3×3×c滤波器；C2层卷积核为64种类型的3×3×64滤波器；C3层卷积核为128种类型的3×3×64滤波器；C4层卷积核为256种类型的3×3×128滤波器，ReLU为非线性激活函数，ReLU(x)＝max(0,x)；M1、M2、M3、M4为池化层，池化层采用取最大值的池化方法，采用的是2×2的池化，步幅为1；空间特征层的输入为像素点的空间坐标，空间特征层FC5为256个神经元的全连接层+ReLU激活函数；合并层采用全连接层+ReLU激活函数合并图像补丁特征和空间特征，合并层FC6为256个神经元的全连接层+ReLU激活函数；最后分类层S7使用了softmax激活函数来输出分类结果；(2.2)卷积神经网络训练和测试图像分割物体的边缘通常是前景和背景之间是线性混合的区域，因此左分割图像素分为三类：前景像素、背景像素和未知像素；本方法对左分割图进行边缘检测，设置边缘半径为1的区域为未知区域，在左分割图中，设置前景像素为1，背景像素为0，未知像素为0.5；卷积神经网络的训练数据集为其中N为训练的样本数；gi为卷积神经网络输入，gi＝[Yl(Ni)；(xi,yi)]，Yl(Ni)是左视图中以(xi,yi)为中心9×9×c图像补丁(c为图像通道数)，用于图像补丁特征层的输入；(xi,yi)空间坐标用于空间特征层的输入；zi为卷积神经网络的输出，zi的值为zi＝...

【专利技术属性】
技术研发人员：厉旭杰，
申请(专利权)人：温州大学，
类型：发明
国别省市：浙江,33