一种基于深度卷积神经网络的前景对象图像分割方法技术

本发明专利技术公开了一种基于深度卷积神经网络的前景对象图像分割方法，将分割任务设置为密集的标记问题，并提出一种基于深度卷积神经网络的像素级图像分割模型FOSeg模型。FOSeg模型是一个可以预测每个像素是前景对象可能性的支持端到端训练的前景对象图像分割模型。FOSeg模型分割流程图如图1所示：首先输入原始图像，经过深度卷积神经网络的卷积、汇合、线性整流等操作，然后输入到分流聚合模块从而得出特征映射得分图，随后经过双线性插值算法的上采样操作得到粗糙的分割图，最后将得到的粗糙分割图送入条件随机场模型中进一步细化分割结果，从而得出精细的分割图像。

A method of foreground object image segmentation based on deep convolution neural network

【技术实现步骤摘要】
一种基于深度卷积神经网络的前景对象图像分割方法
本专利技术涉及计算机视觉领域
，具体涉及一种基于深度卷积神经网络的前景对象图像分割方法。
技术介绍
根据分割是否依赖类别，可以将前景对象分割模型分为两类。(1)不依赖类别的分割：无论图像中的对象有多少类，只提取前景对象掩码的分割模型；(2)特定类别的分割：从分类标记的数据中学习,并寻求分割新图像中的特定类别的分割模型。(1)不依赖类别的分割根据分割策略与目的的不同，将不依赖类别的分割分为以下三种：交互式图像分割模型：如GrabCut[10]模型就是让人用边框或涂鸦来指导算法。当需要进行高精度的分割时，一些来自人类的指导是值得的，这类模型是较适合的。虽然减少人工的参与，但不能全自动的完成分割。对象建议模型：该类模型以边界框或区域的形式，生成上千个前景对象建议。产生上千个假设可以确保高的召回率，但往往会导致低精度的结果。虽然其对目标检测有效，但在没有特定信息的情况下，很难自动地从这个大的假设集合中过滤出准确的建议，完成分割任务。显著性模型：该类模型的目标是识别可能吸引人类注意力的区域。有些模型产生高度局部化的区域，而另一些模型则分割完整的对象。显著性模型关注的是“突出”的对象，不能分割所有前景对象。(2)特定类别的分割根据训练数据集的不同使用策略将特定类别的分割模型分为以下三种：语义分割模型：语义分割是指对对象进行联合识别和分割的任务，将每个像素划分为k个固定类别之一。大多数的深层语义分割模型包括完全卷积网络，它应用连续的卷积层和池化层，然后在末端进行上行采样或反卷积操作，从而产生像素级的分割映射图。但是，这些模型是针对固定数量的类别进行训练的，泛化能力较弱。弱监督的联合分割模型：弱监督的联合分割模型比语义分割模型使用更弱的监督，其思想是利用集合内的相似性来发现共同的前景。给定一批已知的包含相同对象类别的图像,输出是特定类别的像素级掩码或边框。虽然联合分割是有效的，但它的性能受到集合内共享结构的限制，类内的特征和形状的变化构成了一个重大的挑战。此外，客观世界的复杂性使得图像数据易于受到不同类型视觉噪声的干扰进而影响分割模型的表现。这种复杂性主要来源于以下两个方面：物体本身的视觉变化，主要包括姿态、形变、朝向、尺度、外观以及遮挡等因素；客观世界的随机变化，如光照、噪声以及成像技术等。总之，以上这些因素大大限制了弱监督的联合分割模型的分割表现。基于传播的模型：基于传播的模型将信息从带有人类标记的前景掩码的样本中传递。它们通常在可能的前景区域和样本之间进行匹配。缺点是需要在测试时存储大量的范例数据，并为每个测试映像执行昂贵且可能有噪声的匹配过程。基于深度卷积神经网络(DeepConvolutionalNeuralNetworks,DCNNs)的图像分割模型都面临着以下两个挑战:(1)输出特征分辨率降低，(2)由于DCNNs内在不变性而下降的定位精度。针对当DCNNs以完全卷积方式使用时，会导致特征图的空间分辨率显著降低，为了克服这一障碍并有效地产生更密集的特征图，本专利技术采用扩张卷积进行特征提取，扩张卷积允许本文模型有效地扩大滤波器的视野，而不增加参数的数量或计算量。通过使用扩张卷积替代常用卷积，FOSeg模型能有效的提高输出特征图的分辨率。针对由于DCNNs结构的空间变换不变性，固有地限制了当该结构应用到分割任务时的分割精度。本专利技术采用分流聚合模块(Shunt-FuseModule,SFM)：在pool5层之后以多个采样率重新采样特定的特征层，并在sofamax层之前将采样的多尺度特征进行融合。这相当于用具有互补的有效视野的多个滤波器探测原始图像，从而在多个尺度上捕获物体以及有用的图像上下文信息。本专利技术使用使用全连接的条件随机场来提高模型捕获精细细节的能力，计算更有效，并能够捕获细微的边缘细节，同时也适应长距离的依赖，很大程度上提高了基于像素级分类器的性能。全连接的条件随机场，与带有扩张卷积和分流聚合模块的DCNNs的像素级别分类器相结合，可以有效提高分割模型的分割精度。
技术实现思路
本专利技术提出一个端到端的基于深度卷积神经网络的监督学习模型，用于逐像素的前景对象图像分割。实验结果证明了FOSeg模型的有效性,其与多个数据集的优秀模型相比均有显著改进。同现有较好的基于深度特征的图像区域分割模型相比精度更高，较好地解决了由于DCNNs不变性而导致的定位精度下降问题。研究结果还表明,FOSeg模型具有强大的泛化能力，可以很好地推广到数百个对象类别。为实现上述目的，本专利技术采用的技术方案为：本专利技术将分割任务设置为密集的标记问题，并提出一种基于深度卷积神经网络的像素级图像分割模型FOSeg模型。FOSeg模型是一个可以预测每个像素是前景对象可能性的支持端到端训练的前景对象图像分割模型。FOSeg模型分割流程图如图1所示：首先输入原始图像，经过深度卷积神经网络的卷积、汇合、线性整流等操作，然后输入到分流聚合模块从而得出特征映射得分图，随后经过双线性插值算法的上采样操作得到粗糙的分割图，最后将得到的粗糙分割图送入条件随机场模型中进一步细化分割结果，从而得出精细的分割图像。(1)模型架构将用于图像分类的VGG-16模型的所有的全连接层改为卷积层，使模型能够接受任何大小的输入图像,并生成相应的密集输出映射。FOSeg模型由卷积层组成,中间有最大值汇合层。除最后一个卷积层大小为1x1，其余所有卷积核的大小均为3x3。每个卷积层后面还有一个线性整流层,然后再输入到下一层。将VGG-16模型中的1000路分类层替换为产生二进制掩码作为输出的2路分类层。损失函数是输出层中每个像素上的交叉熵之和。VGG-16模型由五个最大值汇合层组成。虽然非常适合分类,但与原始图像相比,这将导致输出分辨率降低32倍。为了实现更精细的像素对象图,FOSeg模型应用“扩张卷积”算法，扩张卷积是利用上采样滤波器的方法，通过扩张率控制着感受野，同样的卷积核数量，不同的扩张率却让其有不同大小的感受野，在不增加参数量的情况下，扩张卷积可以指数级地扩大滤波器的感受野，有效地提取图像上下文信息。特别是，FOSeg模型用扩张卷积替换最后两个最大值汇合层中的下采样。此操作是无参数的，输出分辨率降低8倍,并且仍然保留了较大的感受野。此外，FOSeg模型应用中的分流聚合模块(SFM)，基于VGG-16的SFM采用多个并行fc6-fc7-fc8分支，它们都使用3×3内核，但在fc6中采用不同的扩张率r以捕获不同大小的物体。SFM采用扩张率为r＝{6,12,18,24}，可以有效地提取图像的上下文信息，增强模型的分割性能。然后,使用双线性插值来恢复前景图像原始分辨率。最后，使用全连接的条件随机场算法，作为分割模型的后处理，进一步提升分割模型的分割精度。(2)分流聚合模块分流聚合模块(Shunt-FuseModule,SFM)：在pool5层之后以多个采样率重新采样特定的特征层本文档来自技高网...

【技术保护点】
1.一种基于深度卷积神经网络的前景对象图像分割方法，其特征在于：所述方法使用一个端到端的基于深度卷积神经网络DCNNs(Deep Convolutional Neural Networks)的监督学习模型FOSeg(Foreground Object Segmentation)，对逐像素的前景对象图像分割；FOSeg模型分割流程：首先输入原始图像，经过深度卷积神经网络的卷积、汇合、线性整流等操作，然后输入到分流聚合模块从而得出特征映射得分图，随后经过双线性插值算法的上采样操作得到粗糙的分割图，最后将得到的粗糙分割图送入全连接的条件随机场模型中进一步细化分割结果，从而得出精细的分割图像。/n

【技术特征摘要】
1.一种基于深度卷积神经网络的前景对象图像分割方法，其特征在于：所述方法使用一个端到端的基于深度卷积神经网络DCNNs(DeepConvolutionalNeuralNetworks)的监督学习模型FOSeg(ForegroundObjectSegmentation)，对逐像素的前景对象图像分割；FOSeg模型分割流程：首先输入原始图像，经过深度卷积神经网络的卷积、汇合、线性整流等操作，然后输入到分流聚合模块从而得出特征映射得分图，随后经过双线性插值算法的上采样操作得到粗糙的分割图，最后将得到的粗糙分割图送入全连接的条件随机场模型中进一步细化分割结果，从而得出精细的分割图像。


2.根据权利要求1所述的一种基于深度卷积神经网络的前景对象图像分割方法，其特征在于：FOSeg模型由卷积层组成,中间有最大值汇合层。除最后一个卷积层大小为1x1，其余所有卷积核的大小均为3x3。每个卷积层后面还有一个线性整流层,然后再输入到下一层；FOSeg模型应用"扩张卷积...

【专利技术属性】
技术研发人员：杨戈，吴彬，
申请(专利权)人：北京师范大学珠海分校，
类型：发明
国别省市：广东;44