图像中目标分割的方法技术

本发明专利技术公开了一种图像中目标分割的方法，包括：通过训练好的多任务全卷积网络对输入的图像进行处理，得到分割结果与形状参数预测结果；通过分离最大池化操作对形状参数预测结果进行优化；基于分段融合策略，使用优化后的形状参数预测结果来优化分割结果，从而实现目标分割。该方法能够基于形状约束的实现目标分割，通过在不同生物数据集上进行验证，可以平滑分割边缘和解决粘连问题，其分割效果明显由于传统方案。

【技术实现步骤摘要】
图像中目标分割的方法
本专利技术涉及图像处理
，尤其涉及一种图像中目标分割的方法。
技术介绍
目标分割算法在近几年间获得了广泛的关注，其任务为在一张图像中，将感兴趣的目标区域分割出来，获得与背景不一样的标签。由于目标分割是场景理解的基础之一，因此该任务在自动驾驶，医学影像分析等领域中有广阔的应用场景。在众多的目标分割方法中，卷积神经网络被广泛的运用于提取图像语义信息。通过模拟人类视觉感知的结构，卷积神经网络能够根据任务要求自主学习最优的特征表达，从而达到更好的分割效果。然而，目前的方法仍然无法解决目标分割中的粗糙边缘和粘连问题。
技术实现思路
本专利技术的目的是提供一种图像中目标分割的方法，可以平滑分割边缘和解决粘连问题。本专利技术的目的是通过以下技术方案实现的：一种图像中目标分割的方法，其特征在于，包括：通过训练好的多任务全卷积网络对输入的图像进行处理，得到分割结果与形状参数预测结果；通过分离最大池化操作对形状参数预测结果进行优化；基于分段融合策略，使用优化后的形状参数预测结果来优化分割结果，从而实现目标分割。由上述本专利技术提供的技术方案可以看出，能够基于形状约束的实现目标分割，通过在不同生物数据集上进行验证，可以平滑分割边缘和解决粘连问题，其分割效果明显优于传统方案。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种图像中目标分割的方法的流程图；图2为本专利技术实施例提供的分离最大池化操作示意图；图3为本专利技术实施例提供的分段融合策略示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例是一种图像中目标分割的方法，能够显式的将目标的形状先验知识融入到网络结构中；主要包括三个部分：多任务全卷积网络，分离最大池化，以及分段融合策略。多任务全卷积网络采用全卷积网络(FCN)模型，一般是基于VGG-16的特征提取。为了能显式的在网络中表达形状约束，多任务全卷积网络能够同时对图像进行分割，以及对图像中每一个目标物体预测一组形状参数。通过对形状参数加以不同的定义，比如角度，长宽等，形状参数可以描述出一个标准的形状，比如椭圆。得到的分割结果和形状参数可以互为补充，优化彼此，最终达到平滑边缘和分开粘连的问题。然而，形状参数实际上很难预测准确，因此我们通过分离最大池化操作来提升形状参数的预测准确度。通过分析分割结果和参数预测之间的关联性，分离最大池化能够去除掉一些不可靠的形状预测，只保留更有可能准确的形状参数，从而更好的用来优化分割结果。最后通过分段融合策略来用预测的目标形状参数优化得到的分割结果。通常来说，生物数据的病变会导致目标形状明显偏离我们的形状先验。因此在这种情况下，分割结果得到的目标形状更加可靠，因为形状参数描绘出来的目标形状过于标准。而对于大部分正常数据来说，形状参数得到的形状是非常具有参考性的。基于以上考虑，本专利技术提出的分段融合策略，能够自适应的同时保留分割结果的可变性和形状参数的规则性，来最大可能优化最终的目标分割结果。本专利技术实施例的方案主要是以下三点：1)有效的在网络中引入了形状约束去做目标形状分割算法。2)分离最大池化操作能够优化多任务网络中的分割和参数预测部分。3)分段融合策略能够灵活地用预测的形状约束优化分割结果。如图1所示，本专利技术实施例提供的一种图像中目标分割的方法主要包括如下步骤：1、通过训练好的多任务全卷积网络对输入的图像进行处理，得到分割结果与形状参数预测结果。本专利技术实施例中，所述多任务全卷积网络(Multi-taskFCN)包含七组卷积层结构，每组结构中包含多个卷积层和ReLU激活函数，组与组之间插入一个最大池化层；前五组卷积块层内部的卷积核数量一样，它们依次串联，并且随着网路的加深，不同组的卷积核数量会依次递增；令前五组卷积块层简化为图1中的ConvNet，他们得到的特征图定义为Xi，则分割结果P和形状参数预测{T}分别通过剩下两组卷积块层根据特征图Xi预测得到。示例性的，可以通过VGG-16结构实现，五组卷积结构的输出特征的通道数依次为：64,128,256,512,512。本专利技术实施例中，分割结果中的每一个元素是一个[0,1]的数值，如果大于0.5则表示该像素点属于目标区域，如果小于0.5则表示该像素值为背景区域。本专利技术实施例中，在多任务全卷积网络的训练阶段，假设以椭圆形状作为先验知识，预测到的第i个像素点的形状参数记为Ti，每次训练时得到的形状参数预测结果为{θ,μc,νc,a,b}；其中θ表示椭圆的倾斜角度；μc,νc表示椭圆的中心坐标；a,b表示椭圆的长短轴长度；最终每个像素点都有会这5个形状参数，分别表示为：其中，{μ,ν}为像素点的空间坐标，H和W为图像的长度与宽度；其中本专利技术实施例中，多任务全卷积网络的目标损失函数表示为：其中，N为像素点数目，Pi为第i个像素点的分割预测值，Pi∈P；Tk.i表示Ti中的第k个形状参数；和对应的表示Pi与Tk.i的真实值；λ是平衡参数，Lcls是softmax分类损失，Lcls＝-∑iPilnPi；Lreg是目标检测中通用的L1平滑约束误差：此外，在多任务全卷积网络的训练阶段，将数据集中的数据进行了翻折、缩放和随机裁剪等数据增广操作，再将数据打乱、分批(例如batchsize＝8)及固定尺寸，从而构成训练集。训练时，采用随机梯度下降法作为优化器来训练网络参数；示例性的，其学习率衰减策略选择指数型衰减，初始学习率为0.01。另外正则化操作中Dropout的比率为0.5，L2惩罚项的系数为0.0005。对于网络中所有超参数的初始值，使用MSRA初始化方法，其原理为将网络中每层的权重参数初始化为满足的正态分布，其中n为该层权重参数的个数。网络中的正则化操作L2惩罚正是基于对网络参数的高斯先验假设对其进行惩罚，所以在端到端训练中该初始化方法会提高网络训练效率并提高网络性能。2、通过分离最大池化(SplitMaxPooling)操作对形状参数预测结果进行优化。当我们得到分割结果P和形状参数预测{T}时，我们采用分离最大池化来进行优化。分离最大池化操作时的池化公式为：其中，Ni为第i个像素点临近的区域，示例性的Ni为像素点i附近3×3像素大小的区域。通过分离最大池化操作将Ni中最大Pi及其对应的Ti传播到下一层网络(即图1中的分段融合策略层)，从而实现形状参数的优化。分离最大池化操作的一个示例如图2所示：输入T和P，分别用3×3大小的窗口进行滑动，只有P中窗口里面最大的数值(0.7)对应位置的T(12)，可以作为输出，保留下来。分离最大池化操作也参与多任务全卷积网络的训练过程，其中：反向传播过程中，对于Ti的表达式为：其中，L表示之前提到的多任务全卷积网络的目标损失函数；m为Ni窗口里面的像素个数；本文档来自技高网...

【技术保护点】
1.一种图像中目标分割的方法，其特征在于，包括：通过训练好的多任务全卷积网络对输入的图像进行处理，得到分割结果与形状参数预测结果；通过分离最大池化操作对形状参数预测结果进行优化；基于分段融合策略，使用优化后的形状参数预测结果来优化分割结果，从而实现目标分割。

【技术特征摘要】
1.一种图像中目标分割的方法，其特征在于，包括：通过训练好的多任务全卷积网络对输入的图像进行处理，得到分割结果与形状参数预测结果；通过分离最大池化操作对形状参数预测结果进行优化；基于分段融合策略，使用优化后的形状参数预测结果来优化分割结果，从而实现目标分割。2.根据权利要求1所述的一种图像中目标分割的方法，其特征在于，所述多任务全卷积网络包含七组卷积层结构，每组结构中包含多个卷积层和ReLU激活函数，组与组之间插入一个最大池化层；前五组卷积块层内部的卷积核数量一样，它们依次串联，并且随着网路的加深，不同组的卷积核数量会依次递增；通过前五组卷积块层得到特征图Xi，通过剩下两组卷积块层分别根据特征图Xi预测得到分割结果P和形状参数预测{T}。3.根据权利要求1或2所述的一种图像中目标分割的方法，其特征在于，分割结果中的每一个元素是一个[0,1]的数值，如果大于0.5则表示该像素点属于目标区域，如果小于0.5则表示该像素值为背景区域。4.根据权利要求1或2所述的一种图像中目标分割的方法，其特征在于，在多任务全卷积网络的训练阶段，假设以椭圆形状作为先验知识，预测到的第i个像素点的形状参数记为Ti，每次训练时得到的形状参数预测结果为{θ,μc,vc,a,b}；其中θ表示椭圆的倾斜角度；μc,νc表示椭圆的中心坐标；a,b表示椭圆的长短轴长度；最终每个像素点都有会这5个形状参数，分别表示为：其中，{μ,ν}为像素点的空间坐标，H和W为图像的长度与宽度。5.根据权利要求4所述的一种图像中目标分割的方法，其特征在于，多任务全卷积网...

【专利技术属性】
技术研发人员：张勇东，闵少波，谢洪涛，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：安徽,34