基于改进U-Net网络的图像分割模型及训练方法技术

本发明专利技术提供了一种基于改进U‑Net网络的图像分割模型，模型采用编解码结构，包括：编码模块、解码模块、编解码连接层和多特征融合模块；编码模块包括多个串接的编码单元，解码模块包括多个与编码单元一一对应的解码单元，编解码连接层用于连接编码模块与解码模块；多特征融合模块包括上采样层和加性融合层；上采样层对各解码单元的输出进行对应的上采样后输入至加性融合层进行叠加，得到图像分割结果。本申请的模型能够提高特征提取的能力以及提取的准确性。另外本申请提出的损失函数能够在分割目标大小不固定及目标与背景差异过大的情况下进行较好的分割。

【技术实现步骤摘要】
基于改进U-Net网络的图像分割模型及训练方法
本专利技术涉及视觉图像处理，具体涉及一种基于改进U-Net网络的图像分割模型及训练方法。
技术介绍
图像分割是视觉图像处理的重要分支，在各领域中具有广阔的应用前景。由于人工分割的复杂性，目前已有大量用于图像分割的算法，如基于阈值的方法、马尔可夫随机场模型、聚类算法等。然而，上述传统算法仅针对特定图像形式，大多存在人为偏差。与传统算法不同的是，深度学习可以从多层网络结构中学习目标特征，其网络中的卷积神经网络(convolutionalneuralnetwork,CNN)在各种图像处理问题上都有不错的表现。基于CNN基础上的全卷积网络(fullyconvolutionalnetwork,FCN)及在FCN基础上演变出的其他变体网络(如SegNet、DeepLab和U-Net网络)在图像分割任务中都能获得了更好的效果。其中，SegNet和DeepLab网络架构必须要有大量的训练数据，否则很容易出现过拟合的现象，训练效果好，测试效果却不理想。对于图像数据集不丰富的领域(如医学领域)，难以得到较好的分割结果。现有的U-Net网络可以充分利用图像的全局和局部细节，在数据集较小的情况下获得不错的分割效果，从而减少依赖大量的训练数据。U-Net也是基于卷积层来构建的。如图1所示，U-Net网络结构是具有对称结构的编译码网络。编码部分和译码部分的基本单元如图2所示，由两个3×3的卷积层连接。编码部分有四个相似的操作，每个操作都有两个3×3的卷积层和一个最大池化层，池化大小为2×2，步长为2。在每个最大池化之后，卷积层的深度将增加一倍。译码部分的主要作用是增大特征图的分辨率，以保证输出图像的大小与输入图像的大小相等。解码器也有四次操作，每个操作由一个2×2反卷积层和两个3×3的卷积层组成。在每个反卷积层之后，反卷积层的特征图将与编码部分具有相同分辨率的特征图进行拼接。最后，使用1×1的卷积层进行降维，生成最终的分割结果。U-Net中所有3×3个卷积层都使用整流线性单元(ReLU)作为激活函数，最后1×1个卷积层使用Sigmoid激活函数。但在分割目标大小不固定，目标与背景差异过大时，现有的上述U-Net网络结构的分割效果难以满足需求。
技术实现思路
专利技术目的：本申请的目的在于提供一种基于改进U-Net网络的图像分割模型及训练方法，以解决传统U-Net网络对于分割目标大小不固定以及目标与背景差异过大时分割效果不理想的缺陷。技术方案：本专利技术提供了一种基于改进U-Net网络的图像分割模型，模型采用编解码结构，包括：编码模块、解码模块、编解码连接层和多特征融合模块；编码模块包括多个串接的编码单元，每个编码单元包括编码紧密块和下采样块；每个编码紧密块对当前编码单元的输入进行特征提取，得到对应的输出。该输出下采样后得到当前编码单元的输出，并将其作为下一编码单元的输入；解码模块包括多个与编码单元一一对应的解码单元，每个解码单元包括上采样块和解码紧密块；每个解码单元的输入包括第一输入和第二输入，第一输入经上采样块进行上采样后与第二输入拼接后输入到当前解码紧密块，作为当前解码紧密块的输入；编解码连接层用于连接编码模块与解码模块，对最后一编码单元的输出进行特征提取后，得到编解码连接层的输出，并将其输入至第一解码单元；多特征融合模块包括上采样层和加性融合层；上采样层对各解码紧密块的输出进行对应的上采样后输入至加性融合层进行叠加，得到图像分割结果。进一步地，第一解码单元的第一输入为编解码连接层的输出，第二输入为第一解码单元对应的编码单元中编码紧密块的输出；其他解码单元的第一输入为上一解码单元的输出，第二输入为当前解码单元对应的编码单元中编码紧密块的输出。进一步地，多特征融合模块的上采样层包括与各解码紧密块的输出分别对应的上采样块，用于将各解码紧密块的输出恢复至输入图像的大小，以供加性融合层进行叠加。进一步地，编码紧密块与解码紧密块的结构相同，均采用紧密块；紧密块包括卷积块、过渡块，卷积块与过渡块跳跃连接；卷积块包括多个卷积核相同的标准卷积层，用于对紧密块的输入进行逐层提取；每个卷积层的输入都与前面所有层的输出有关，在后卷积层的输入是在前所有卷积层的输入和前一卷积层的输出的拼接；过渡块用于将卷积块中所有卷积层逐层提取的输出以及紧密块的输入合并。进一步地，过渡块采用卷积核为1×1的标准卷积。进一步地，采用紧密块作为编解码连接层。本申请还公开了一种用于上述图像分割模型的训练方法，包括：(1)将图像样本数据集按照预设的比例划分训练集、验证集和测试集；(2)对模型权重进行初始化，利用训练集对初始化后的模型进行迭代训练，不断更新模型的权重，得到最新权重的模型；(3)利用验证集对最新权重的模型进行验证，继续更新模型的权重，对已训练的权重进行调整，直至模型收敛，将此时的模型参数作为最终的模型参数用于图像分割。进一步地，在上述方法中，采用He正态分布初始化方法来进行初始化网络的权重，初始权重满足均值为0，标准差为的正态分布产生，其中x指权重矩阵中元素的数量。进一步地，训练方法的损失函数Ln表示为：Ln＝λLbce+(1-λ)(1-Ldi)其中，λ(0≤λ≤1)为Ln的参数，Lbce为交叉熵损失函数，Ldi为骰子损失函数，其表达式分别为：其中，N为图像像素点的个数，gi为正确分割图像的像素值，ti指训练出的图像的像素值。此处训练使用了训练集和验证集，整个训练过程，先在训练集中训练，再将训练得来的权重在验证集中调整，以避免训练过程中过拟合的现象。进一步地，权重更新规律表示为：其中，表示现在第k层的权重，表示上一次训练时的第k层权重，η表示学习率，表示损失函数对第k层权重求偏导。有益效果：与现有技术相比，一方面，本申请公开的模型可通过紧密块提高特征提取的能力，同时多特征融合模块能够提高特征提取的准确性。另一方面，本申请还提供可以处理目标与背景不平衡的损失函数，提高模型的适用范围和图像分割效果。附图说明图1为现有U-Net网络模型的整体结构示意图；图2为现有U-Net网络模型的基本单元结构示意图；图3为本申请的图像分割模型的整体结构示意图；图4为本申请的图像分割模型中紧密块的结构示意图；图5为本申请的图像分割模型中多特征融合模块的结构示意图；图6为ISBI-2012的原始图片、正确分割效果图和三种算法的分割效果图；图7为DRIVE的原始图片、正确分割效果图和三种算法的分割效果图；图8为ISIC-2018的原始图片、正确分割效果图和三种算法的分割效果图。具体实施方式下面结合附图和实施例对本专利技术做进一步描述：本申请提供了一种基于改进U-Net网络的图像分割模型，如图3所示，模型采用编解码结构，包括：编码模本文档来自技高网...

【技术保护点】
1.一种基于改进U-Net网络的图像分割模型，其特征在于，所述模型采用编解码结构，包括：编码模块、解码模块、编解码连接层和多特征融合模块；/n所述编码模块包括多个串接的编码单元，每个编码单元包括编码紧密块和下采样块；每个编码紧密块对当前编码单元的输入进行特征提取，得到对应的编码稠密输出；所述编码稠密输出经过下采样块进行下采样后得到当前编码单元的输出，并将其作为下一编码单元的输入；/n所述解码模块包括多个与所述编码单元一一对应的解码单元，每个解码单元包括上采样块和解码紧密块；每个所述解码单元的输入包括第一输入和第二输入，所述第一输入经上采样块进行上采样后与所述第二输入拼接后输入到当前解码紧密块，作为当前解码紧密块的输入；/n所述编解码连接层用于连接所述编码模块与所述解码模块，对最后一编码单元的输出进行特征提取后，得到编解码连接层的输出，并将其输入至第一解码单元；/n所述多特征融合模块包括上采样层和加性融合层；所述上采样层对各所述解码紧密块的输出进行对应的上采样后输入至加性融合层进行叠加，得到图像分割结果。/n

【技术特征摘要】
1.一种基于改进U-Net网络的图像分割模型，其特征在于，所述模型采用编解码结构，包括：编码模块、解码模块、编解码连接层和多特征融合模块；
所述编码模块包括多个串接的编码单元，每个编码单元包括编码紧密块和下采样块；每个编码紧密块对当前编码单元的输入进行特征提取，得到对应的编码稠密输出；所述编码稠密输出经过下采样块进行下采样后得到当前编码单元的输出，并将其作为下一编码单元的输入；
所述解码模块包括多个与所述编码单元一一对应的解码单元，每个解码单元包括上采样块和解码紧密块；每个所述解码单元的输入包括第一输入和第二输入，所述第一输入经上采样块进行上采样后与所述第二输入拼接后输入到当前解码紧密块，作为当前解码紧密块的输入；
所述编解码连接层用于连接所述编码模块与所述解码模块，对最后一编码单元的输出进行特征提取后，得到编解码连接层的输出，并将其输入至第一解码单元；
所述多特征融合模块包括上采样层和加性融合层；所述上采样层对各所述解码紧密块的输出进行对应的上采样后输入至加性融合层进行叠加，得到图像分割结果。


2.根据权利要求1所述的模型，其特征在于，所述第一解码单元的第一输入为所述编解码连接层的输出，第二输入为第一解码单元对应的编码单元中编码紧密块的输出；
其他解码单元的第一输入为上一解码单元的输出，第二输入为当前解码单元对应的编码单元中编码紧密块的输出。


3.根据权利要求1所述的模型，其特征在于，所述多特征融合模块的上采样层包括与各解码紧密块的输出分别对应的上采样块，用于将各解码紧密块的输出恢复至输入图像的大小，以供加性融合层进行叠加。


4.根据权利要求1所述的模型，其特征在于，所述编码紧密块与所述解码紧密块的结构相同，均采用紧密块；所述紧密块包括卷积块、过渡块，所述卷积块与所述过渡块跳跃连接；
所述卷积块包括多个卷积核相同的标准卷积层，用于对紧密块...

【专利技术属性】
技术研发人员：杨真真，许鹏飞，孙雪，郑艺欣，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32