基于多尺度上下文感知的医学图像分割模型及方法技术

本发明专利技术提出基于多尺度上下文感知的医学图像分割模型及方法，包括编码器和解码器构成的分割网络框架，编码器为经过预训练的ResNet50，且预训练的ResNet50使用五层卷积层，解码器包括用于增强特征全局信息的全局循环卷积transformer模块和注意力导向模块，发明专利技术采用预训练的ResNet50作为编码器以获取更有代表性的特征图，再引入了全局循环卷积transformer模块，对特征进行全局信息建模，从而加强特征的全局性和长程依赖性，再利用注意力导向模块将经过特征加强的不同尺度特征进行融合，使深层特征引导浅层特征进行空间和通道信息的选择，从而在恢复细节信息的同时有效抑制浅层特征的噪声信息。抑制浅层特征的噪声信息。抑制浅层特征的噪声信息。

【技术实现步骤摘要】
基于多尺度上下文感知的医学图像分割模型及方法


[0001]本专利技术涉及医学图像分割
，尤其涉及基于多尺度上下文感知的医学图像分割模型及方法。

技术介绍

[0002]医学图像分割是辅助诊断和临床手术的一项重要技术，它可以减少一些不必要的检查，降低患者的生理痛苦。随着深度学习的发展，计算机视觉技术在医学图像分割领域得到了广泛的应用，并取得了不错的效果；
[0003]现有的医学图像分割方法大多是基于卷积神经网络(CNN)的编码器
‑
解码器结构，这些U形网络通过重复地使用局部卷积算子对图像进行卷积来提取不同尺度的特征图，其中浅层特征包含细节信息，深层特征具有丰富的语义信息，然后对深层特征进行渐进式的反卷积运算实现上采样，并通过跳转连接将浅层特征重新引入到深层特征中以弥补上采样产生的空间细节损失；
[0004]但上述方法存在一些缺点，首先，卷积层利用共享权值矩阵在图像中不同的空间位置依次进行卷积运算，导致特征图中缺乏长程空间信息交互。其次，传统的U形网络对于浅层特征的使用仅仅局限于粗暴的使用跳转连接来恢复下采样过程中丢失的细节信息，因此本专利技术提出基于多尺度上下文感知的医学图像分割模型以解决现有技术中存在的问题。

技术实现思路

[0005]针对上述问题，本专利技术的目的在于提出基于多尺度上下文感知的医学图像分割模型及方法，该种基于多尺度上下文感知的医学图像分割模型及方法具有更精确的分割性能和良好的泛化能力，解决现有技术中的问题。
[0006]为实现本专利技术的目的，本专利技术通过以下技术方案实现：基于多尺度上下文感知的医学图像分割模型，包括编码器和解码器构成的分割网络框架，所述编码器为经过预训练的ResNet50，且预训练的ResN et50使用五层卷积层，所述解码器包括用于增强特征全局信息的全局循环卷积transformer模块和注意力导向模块，所述全局循环卷积tra nsformer模块内设有用于抑制无用通道信息的通道注意力结构。
[0007]进一步改进在于：所述五层卷积层分别为第一层卷积层、第二卷积层、第三卷积层、第四卷积层及第五卷积层，所述第一层卷积层不包含残差块，所述第二、第三、第四和第五卷积层均包含残差块。
[0008]进一步改进在于：所述编码器提取多组特征图，且多组特征图中的后三层作为解码器的输入。
[0009]进一步改进在于：所述全局循环卷积transformer模块的全局循环卷积包括水平方向上的长程循环卷积和垂直方向上的长程循环卷积。
[0010]基于多尺度上下文感知的医学图像分割模型的分割方法，包括以下步骤：
[0011]步骤一：输入需要分割的医学图像数据，通过编码器对输入的医学图像数据进行
特征提取；
[0012]步骤二：由编码器提取的特征数据输入解码器内，由全局循环卷积transformer模块获取全局上下文信息，得到经过全局信息加强的特征；
[0013]步骤三：利用注意力导向模块对步骤二中经过全局信息加强的特征进行改进，得到新的特征；
[0014]步骤四：对步骤四中新的特征进行卷积以及上采样后，进行拼接，拼接结果作为输出结果。
[0015]进一步改进在于：所述步骤一中，编码器对医学图像数据的特征提取过程中，产生分辨率为1/2、1/4、1/8和1/16原图大小的特征图，其中1/4、1/8和1/16的特征图用作解码器的三个输入。
[0016]进一步改进在于：所述步骤四中，第三个特征对第二个特征进行上采样，然后进行特征拼接，得到第一特征数据，再将第一特征数据对第一个特征进行上采样，再进行特征拼接，得到第二特征数据，第二特征数据即为输出结果。
[0017]进一步改进在于：所述全局循环卷积的步骤为：
[0018]将特征在通道方向上等分成两个子特征，分别对它们进行垂直方向上的循环卷积和水平方向上的循环卷积，然后重新拼接成一个特征，在通道方向上的打乱顺序之后重新分成两个子特征，再次分别进行水平方向上的全局循环卷积和垂直方向上的全局循环卷积，最后将两个子特征重新拼接。
[0019]本专利技术的有益效果为：该种基于多尺度上下文感知的医学图像分割模型及方法采用预训练的ResNet50作为编码器以获取更有代表性的特征图，其次为了实现长程依赖性的建模设计一个上下文感知网络，引入了全局循环卷积transformer模块，对编码器提取出来的特征进行全局信息建模，从而加强特征的全局性和长程依赖性，再利用注意力导向模块将经过特征加强的不同尺度特征进行融合，该模块通过在不同尺度之间的特征之间引入空间和通道注意力，使深层特征引导浅层特征进行空间和通道信息的选择，从而在恢复细节信息的同时有效抑制浅层特征的噪声信息，从而解决现有技术中分割时细节信息丢失问题的同时减少浅层特征噪声信息的引入。
附图说明
[0020]图1是本专利技术的结构示意图。
[0021]图2是本专利技术的具体结构示意图。
[0022]图3是本专利技术的全局循环卷积transformer模块结构示意图。
[0023]图4是本专利技术的通道注意力结构示意图。
[0024]图5是本专利技术的注意力导向模块结构示意图。
具体实施方式
[0025]为了加深对本专利技术的理解，下面将结合实施例对本专利技术做进一步详述，本实施例仅用于解释本专利技术，并不构成对本专利技术保护范围的限定。
[0026]根据图1－图5所示，本实施例提出了基于多尺度上下文感知的医学图像分割模型，包括编码器和解码器构成的分割网络框架，编码器为经过预训练的ResNet50，使用预训
练过的ResNet50作为骨干网络用于获取更加具有代表性的特征，其中，在本实施了中，预训练的ResNet50使用五层卷积层，五层卷积层分别为第一层卷积层、第二卷积层、第三卷积层、第四卷积层及第五卷积层，第一层卷积层不包含残差块，主要对输入进行卷积、正则化、激活函数、最大池化的计算，第二、第三、第四和第五卷积层均包含残差块，残差块的使用可以在保证网络学习能力的情况下解决梯度消失的问题；
[0027]编码器提取多组特征图，且多组特征图中的后三层作为解码器的输入，具体的，由编码器对输入的医学图像进行特征提取时，会产生为1/2、1/4、1/8和1/16原图大小的特征图，其中1/4、1/8和1/16的特征图用作解码器的三个输入，解码器包括用于增强特征全局信息的全局循环卷积transformer模块和注意力导向模块，由于使用ResNet50提取的特征缺乏上下文信息，因此本实施例中添加用于捕获长程依赖性的全局卷积transformer模块，其具体结构如图3所示，由于深层特征的通道数较多，信息比较冗余，为了提炼有用通道信息，全局循环卷积transformer模块内设有用于抑制无用通道信息的通道注意力结构，该通道注意力结构图如图4所示，用于抑制无用的通道信息，其通道注意力的实现步骤为：
[0028]如果输入为通过对空间信息的压缩可获得通道注意力系数α，将通道注意力系数与输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度上下文感知的医学图像分割模型，其特征在于：包括编码器和解码器构成的分割网络框架，所述编码器为经过预训练的ResNet50，且预训练的ResNet50使用五层卷积层，所述解码器包括用于增强特征全局信息的全局循环卷积transformer模块和注意力导向模块，所述全局循环卷积transformer模块内设有用于抑制无用通道信息的通道注意力结构。2.根据权利要求1所述的基于多尺度上下文感知的医学图像分割模型，其特征在于：所述五层卷积层分别为第一层卷积层、第二卷积层、第三卷积层、第四卷积层及第五卷积层，所述第一层卷积层不包含残差块，所述第二、第三、第四和第五卷积层均包含残差块。3.根据权利要求1所述的基于多尺度上下文感知的医学图像分割模型，其特征在于：所述编码器提取多组特征图，且多组特征图中的后三层作为解码器的输入。4.根据权利要求1所述的基于多尺度上下文感知的医学图像分割模型，其特征在于：所述全局循环卷积transformer模块的全局循环卷积包括水平方向上的长程循环卷积和垂直方向上的长程循环卷积。5.应用于权利要求1所述的基于多尺度上下文感知的医学图像分割模型的分割方法，其特征在于：包括以下步骤：步骤一：输入需要分割的医学图像数据，通过编码器对输入的医学图像数据进行特征提取；步骤二：由编码器提取的特征数据输入解码器内，由全局...

【专利技术属性】
技术研发人员：黎青，朱玉情，陈律，
申请(专利权)人：安徽大学，
类型：发明
国别省市：