基于宽残差金字塔池化网络的图像分割方法及系统技术方案

本发明专利技术公开了一种基于宽残差金字塔池化网络的图像分割方法及系统，其中，方法步骤包括：输入待分割图像；对待分割图像进行标准化；获取WRN‑PPNet模型；对训练图像进行预处理，并通过数据扩展法增加训练图像的模式和数量，得到训练图像集；根据WRN‑PPNet模型和训练图像集进行模型训练，以生成WRN‑PPNet分割模型；根据待分割图像通过WRN‑PPNet分割模型得到图像分割结果。该方法可以基于WRN‑PPNet全自动地对图像进行分割，实现对目标对象分割的目的，不受待分割图像类别的限制，而且适应性强，模型性能好，从而有效提高图像分割的准确性和便捷性。

【技术实现步骤摘要】
基于宽残差金字塔池化网络的图像分割方法及系统
本专利技术涉及图像处理和计算机视觉
，特别设计一种基于宽残差金字塔池化网络的图像分割方法及系统。
技术介绍
相关技术中，FCN(fullyconvolutionalnetwork，全卷积网络)开启了深度学习做图像语义分割的大门，此后的图像语义分割深度学习模型多是基于FCN做了一些改进。FCN是利用现存的CNNs(convolutionalneuralnetworks，卷积网络)做视觉模型，学习分层特征，再将分类网络最后的全连接层改为全卷积层，然后输出特征图，以取代分类得分，最后对这些特征图做反卷积，来产生稠密像素级标记的输出图。这种网络模型实现了用CNNs端到端地解决视觉问题。但是FCN缺少不同的特征感知，不能在具体问题和场景中很好的应用，因为它本身存在的空间不变性，使得它不能考虑上下文信息，不能感知实例等等。针对FCN的种种缺陷，研究者们提出了很多改进方法，大致包括：解码变种、整合上下文信息、条件随机场、膨胀卷积、多尺度聚合、特征融合以及递归神经网络。解码变种的方法中比较典型的是SegNet，它包含了编码器(卷积网络)和解码器(反卷积网络)两部分，相对于普通的全卷积网络，它是通过解码网络实现对低分辨率的特征图的处理；整合上下文信息的方法有PSPNet(pyramidsceneparsingnetwork，金字塔场景解析网络)，该方法主要是在网络中使用了PPNet模块；此外还有用CRF(conditionalrandomfields，条件随机场)做后期处理，以提高模型捕捉细节的能力；使用膨胀卷积，通过增大卷积核的步伐做卷积，以获得更宽的接受域等等。然而，上述提到的模型均是针对具体的语义分割问题，在FCN的基础上做的不同程度的改进，并没有哪一种模型能很好的用于解决更多不同的图像语义分割问题，所以用于图像语义分割的深度学习网络模型结构还有很大的探索空间。相关技术中，传统分割方法是提取合适的特征，再根据特征分割，但是这类方法只能提取浅层特征，且操作复杂，适用性不强，难以普及。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于宽残差金字塔池化网络的图像分割方法，该方法适用性强，模型性能好，具有鲁棒性，使分割不但更加便捷、有效，而且操作简单且性能更好，从而有效提高图像分割的精准性和便捷性。本专利技术的另一个目的在于提出一种基于宽残差金字塔池化网络的图像分割系统。为达到上述目的，本专利技术一方面实施例提出了一种基于宽残差金字塔池化网络的图像分割方法，包括以下步骤：输入待分割图像；对所述待分割图像进行标准化，以使所述待分割图像的像素均值为0且方差为1；获取WRN-PPNet(wideResNetandpyramidpoolingnetwork，宽残差金字塔池化网络)模型，其中，所述WRN-PPNet模型包括WRN模块和PPNet模块，且所述WRN模块提取的特征与所述PPNet模块提取的特征相融合；对训练图像进行预处理，以使所述训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1且其余部分像素标签为0，并通过数据扩展法增加所述训练图像的模式和数量，得到训练图像集；根据所述WRN-PPNet模型和所述训练图像集进行模型训练，以生成WRN-PPNet分割模型；根据所述待分割图像通过所述WRN-PPNet分割模型得到图像分割结果。本专利技术实施例的基于宽残差金字塔池化网络的图像分割方法，可以通过深度残差网络理论和深度学习网络模型训练方法获得基于WRN-PPNet的图像分割模型，从而可以实现端到端的分割任务，且可以用于全自动地对图像进行分割，且不受待分割图像类别的限制，适用性强，模型性能好，具有鲁棒性，使分割不但更加便捷、有效，而且操作简单且性能更好，从而有效提高图像分割的精准性和便捷性。另外，根据本专利技术上述实施例的基于宽残差金字塔池化网络的图像分割方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述WRN模块包括第一宽残差块组、第二宽残差块组和第三宽残差块组，所述第一宽残差块组、所述第二宽残差块组和所述第三宽残差块组均包含四个宽残差块，每个宽残差块包含两个卷积层，卷积核大小均为3*3，且在每个卷积层之前均有一个批标准化BN(batchnormalization，批标准化)层，且所述第一宽残差块组中，每个宽残差块输出的特征图FMs(featuremaps，特征图)的尺寸与其输入的FMs的尺寸相等，第二宽残差块组和第三宽残差块组中，第一个宽残差块输出的FMs的尺寸是其输入的FMs尺寸的二分之一，其余宽残差块输出的FMs的尺寸等于其输入的FMs的尺寸。进一步地，在本专利技术的一个实施例中，所述PPNet模块包括第一池化通路、第二池化通路和第三池化通路，所述第一池化通路的池化窗口大小为4*4，所述第二池化通路的池化窗口大小为2*2，所述第三池化通路的池化窗口大小为1*1，且池化方式均为平均池化。进一步地，在本专利技术的一个实施例中，所述获取宽残差金字塔池化网络WRN-PPNet模型，进一步包括：在所述PPNet模块中的池化通路上作反卷积操作，其中，在所述第一池化通路上作两次反卷积操作，并且在所述第二池化通路上作一次反卷积操作，以及在所述第三池化通路上有两个卷积层，且每个反卷积层之前均有两个卷积层，卷积核大小均为3*3。进一步地，在本专利技术的一个实施例中，上述方法还包括：通过串联的方式，在模型做分割之前第二次将原输入图像引入所述WRN-PPNet模型，使用两个卷积核为3*3的卷积层获得模型生成特征与原输入图像的超本地化特征的优化组合。为达到上述目的，本专利技术另一方面实施例提出了一种基于宽残差金字塔池化网络的图像分割系统，包括：输入模块，用于输入待分割图像；第一预处理模块，用于对所述待分割图像进行标准化，以使所述待分割图像的像素均值为0且方差为1；获取模块，用于获取WRN-PPNet模型，其中，所述WRN-PPNet模型包括WRN模块和PPNet模块，且所述WRN模块提取的特征与所述PPNet模块提取的特征相融合；第二预处理模块，用于对训练图像进行预处理，以使所述训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1且其余部分像素标签为0，并通过数据扩展法增加所述训练图像的模式和数量，得到训练图像集；训练模块，用于根据所述WRN-PPNet模型和所述训练图像集进行模型训练，以生成WRN-PPNet分割模型；分割模块，用于根据所述待分割图像通过所述WRN-PPNet分割模型得到图像分割结果。本专利技术实施例的基于宽残差金字塔池化网络的图像分割系统，可以通过深度残差网络理论和深度学习网络模型训练方法获得基于WRN-PPNet的图像分割模型，从而可以实现端到端的分割任务，且可以用于全自动地对图像进行分割，且不受待分割图像类别的限制，适用性强，模型性能好，具有鲁棒性，使分割不但更加便捷、有效，而且操作简单且性能更好，从而有效提高图像分割的精准性和便捷性。另外，根据本专利技术上述实施例的基于宽残差金字塔池化网络的图像分割系统还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述WRN模块包括第一宽残差块组、第本文档来自技高网...

【技术保护点】
一种基于宽残差金字塔池化网络的图像分割方法，其特征在于，包括以下步骤：输入待分割图像；对所述待分割图像进行标准化，以使所述待分割图像的像素均值为0且方差为1；获取WRN‑PPNet模型，其中，所述WRN‑PPNet模型包括WRN模块和PPNet模块，且所述WRN模块提取的特征与所述PPNet模块提取的特征相融合；对训练图像进行预处理，以使所述训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1且其余部分像素标签为0，并通过数据扩展法增加所述训练图像的模式和数量，得到训练图像集；根据所述WRN‑PPNet模型和所述训练图像集进行模型训练，以生成WRN‑PPNet分割模型；以及根据所述待分割图像通过所述WRN‑PPNet分割模型得到图像分割结果。

【技术特征摘要】
1.一种基于宽残差金字塔池化网络的图像分割方法，其特征在于，包括以下步骤：输入待分割图像；对所述待分割图像进行标准化，以使所述待分割图像的像素均值为0且方差为1；获取WRN-PPNet模型，其中，所述WRN-PPNet模型包括WRN模块和PPNet模块，且所述WRN模块提取的特征与所述PPNet模块提取的特征相融合；对训练图像进行预处理，以使所述训练图像的像素均值为0且方差为1，且使得分割对象的像素标签为1且其余部分像素标签为0，并通过数据扩展法增加所述训练图像的模式和数量，得到训练图像集；根据所述WRN-PPNet模型和所述训练图像集进行模型训练，以生成WRN-PPNet分割模型；以及根据所述待分割图像通过所述WRN-PPNet分割模型得到图像分割结果。2.根据权利要求1所述的基于宽残差金字塔池化网络的图像分割方法，其特征在于，所述WRN模块包括第一宽残差块组、第二宽残差块组和第三宽残差块组，所述第一宽残差块组、所述第二宽残差块组和所述第三宽残差块组均包含四个宽残差块，每个宽残差块包含两个卷积层，卷积核大小均为3*3，且在每个卷积层之前均有一个批标准化BN层，且所述第一宽残差块组中，每个宽残差块输出的特征图FMs的尺寸与其输入的FMs的尺寸相等，第二宽残差块组和第三宽残差块组中，第一个宽残差块输出的FMs的尺寸是其输入的FMs尺寸的二分之一，其余宽残差块输出的FMs的尺寸等于其输入的FMs的尺寸。3.根据权利要求1所述的基于宽残差金字塔池化网络的图像分割方法，其特征在于，所述PPNet模块包括第一池化通路、第二池化通路和第三池化通路，所述第一池化通路的池化窗口大小为4*4，所述第二池化通路的池化窗口大小为2*2，所述第三池化通路的池化窗口大小为1*1，且池化方式均为平均池化。4.根据权利要求3所述的基于宽残差金字塔池化网络的图像分割方法，其特征在于，所述获取WRN-PPNet模型，进一步包括：在所述PPNet模块的池化通路上作反卷积操作，其中，在所述第一池化通路上作两次反卷积操作，并且在所述第二池化通路上作一次反卷积操作，以及在所述第三池化通路上有两个卷积层，且每个反卷积层之前均有两个卷积层，卷积核大小均为3*3。5.根据权利要求4所述的基于宽残差金字塔池化网络的图像分割方法，其特征在于，还包括：通过串联的方式，在模型做分割之前第二次将原输入图像引入所述WRN-PPNet模型，使用两个卷积核为3*3的卷积层，获得模型生成特征与原输入图像的超本地化特征的优化组合。6.一种基于宽残差金...

【专利技术属性】
技术研发人员：王瑜，朱婷，马泽源，
申请(专利权)人：北京工商大学，
类型：发明
国别省市：北京,11