一种适用于多种视网膜积液联合分割的上下文关注与融合网络制造技术

本申请公开一种适用于多种视网膜积液联合分割的上下文关注与融合网络，包括特征编码模块、上下文收缩编码CSE模块、上下文金字塔引导CPG模块、特征解码模块，上下文收缩编码CSE模块嵌入于特征编码模块中，上下文金字塔引导CPG模块设置于特征编码模块、特征解码模块之间，上下文收缩编码CSE模块与特征解码模块跳跃连接；视网膜OCT图像通过特征编码模块和上下文收缩编码CSE模块对各层次特征进行选择性聚合，再通过上下文金字塔引导CPG模块获得多尺度上下文信息输入到特征解码模块中，特征解码模块输出分割结果。本申请的适用于多种视网膜积液联合分割的上下文关注与融合网络，克服了现有技术中存在的特征聚合无选择性、多尺度信息提取能力低下等问题。信息提取能力低下等问题。信息提取能力低下等问题。

【技术实现步骤摘要】
一种适用于多种视网膜积液联合分割的上下文关注与融合网络


[0001]本申请涉及医学图像分割
，具体是适用于多种视网膜积液联合分割的上下文关注与融合网络。

技术介绍

[0002]针对视网膜光学相干断层扫描(OCT)图像中视网膜积液的分割技术，主要分为基于传统图像处理方法的分割技术和基于深度学习的分割技术。
[0003]传统图像处理的分割技术中，常常需要人工设计特征，利用视网膜积液区域的大小、位置和形状等低阶视觉信息来确定视网膜积液的轮廓。例如传统算法中采用图搜索方法对视网膜进行自动分层，获得积液区域的初始分割结果，再基于手动提取的特征采用AdaBoost分类算法优化初始分割结果，最后利用数学形态学方法进行后处理的方法。该方法存在分割精度低、分割效率差、鲁棒性低等缺点。
[0004]近年来，很多基于卷积神经网络的深度学习方法，由于具备较好的特征提取能力，被广泛的应用在医学图像分割领域。其中U
‑
Net采用了对称的编码器和解码器结构，并结合跳跃连接，在医学图像分割精度上有了很大提高，但仍存在不足：(1)单个编码器层的特征提取能力仍然不够充分，忽略全局上下文信息无选择性地对特征进行聚合，这将引入不相关的干扰信息，进而导致分割错误。(2)在分割具有形状多样性、种类多样性的复杂结构目标时，需要有效提取多尺度上下文信息，而简单的编
‑
解码器结构不能做到对多尺度上下文信息的有效提取和利用。
[0005]现有技术中的视网膜光学相干断层扫描(OCT)图像中视网膜积液的分割技术，例如DFN网络采用通道注意力机制指导编
‑
解码器学习全局特征进行选择性特征聚合、Deeplab
‑
v3采用多个不同感受野的卷积分支来提高模型获取多尺度信息的能力。但是，二者均无法同时解决上述两个问题。

技术实现思路

[0006]本专利技术旨在解决上述技术问题，提供一种适用于多种视网膜积液联合分割的上下文关注与融合网络，克服现有的U型结构网络中因上下文信息提取能力不足导致的特征聚合无选择性、多尺度信息提取能力低下等问题。
[0007]为实现上述目的，本专利技术公开了一种适用于多种视网膜积液联合分割的上下文关注与融合网络，包括特征编码模块、上下文收缩编码CSE模块、上下文金字塔引导CPG模块和特征解码模块，所述上下文收缩编码CSE模块嵌入于所述特征编码模块中，所述上下文金字塔引导CPG模块设置于所述特征编码模块、所述特征解码模块之间，所述上下文收缩编码CSE模块与所述特征解码模块跳跃连接；视网膜OCT图像通过所述特征编码模块和所述上下文收缩编码CSE模块对各层次特征进行选择性聚合，再通过所述上下文金字塔引导CPG模块获得多尺度上下文信息输入到所述特征解码模块中，所述特征解码模块输出对视网膜积液
的分割结果。
[0008]作为优选，所述特征编码模块包括第一层编码器、与所述第一层编码器下采样操作连接的第二层编码器、与所述第二层编码器下采样操作连接的第三层编码器、与所述第三层编码器下采样操作连接的第四层编码器、与所述第四层编码器下采样操作连接的第五层编码器，所述上下文收缩编码CSE模块设置于所述第一层编码器的、所述第二层编码器的、所述第三层编码器的、所述第四层编码器的、所述第五层编码器的连续两个3
×
3卷积之后。
[0009]作为优选，所述上下文收缩编码CSE模块包括CSE输入层、CSE3
×
3卷积层、CSE全局平均池化层、CSE第一1
×
1卷积层、CSE第二1
×
1卷积层、Sigmoid激活函数、软阈值函数、CSE输出层；所述CSE输入层输入的特征图经所述CSE3
×
3卷积层进行变换，提取相关语义信息；变换后的特征图的绝对值经所述全局平均池化层进行全局平均池化操作，以提取丰富的全局上下文信息；全局上下文信息经所述CSE第一1
×
1卷积层、所述CSE第二1
×
1卷积层、所述Sigmoid激活函数后获得一个0～1之间的尺度因子，该尺度因子与经过全局平均池化操作后的特征图相乘得到一个长度为特征通道数的阈值向量τ，并通过所述软阈值函数根据阈值向量τ区分特征后经所述CSE输出层输出。
[0010]作为优选，所述软阈值函数的公式为：其中，x表示输入特征，y表示输出特征，τ表示一个大于零的阈值。
[0011]作为优选，所述上下文金字塔引导CPG模块包括CPG输入层、扩张率不同的三个并行的扩张卷积层、CPG全局平均池化层、CPG第一1
×
1卷积层、双线性上采样层、CPG第一3
×
3卷积层、Softmax函数、CPG第二3
×
3卷积层、CPG第二1
×
1卷积层、CPG输出层；所述CPG输入层输入的特征图经并行的三个所述扩张卷积层扩张卷积后获得三组具有不同尺度信息的特征图，所述CPG输入层输入的特征图经所述CPG全局平均池化层、所述CPG第一1
×
1卷积层处理后提取全局上下文信息，并且将特征图的数量减少一半；将含有全局上下文信息的特征图经所述双线性上采样层、CPG第一3
×
3卷积层处理后恢复到原始的输入尺寸；通过所述Softmax函数得到三个在空间位置上具有不同值的权重图，分别与三组具有不同尺度信息的特征图相乘，根据全局上下文信息对该三组特征图分配不同的关注度，将分配了不同关注度的三组特征图相加，再经所述CPG第二3
×
3卷积层处理后以融合多尺度信息，融合后的特征图通过可学习参数的残差连接后经所述CPG第二1
×
1卷积层、CPG输出层输出。
[0012]作为优选，三个并行所述扩张卷积层的扩张率分别为2、4、8。
[0013]作为优选，所述特征解码模块包括与所述上下文金字塔引导CPG模块反卷积操作连接的第四层解码器、与所述第四层解码器反卷积操作连接的第三层解码器、与所述第三层解码器反卷积操作连接的第二层解码器、与所述第二层解码器反卷积操作连接的第一层解码器，所述第一层解码器与所述第一层编码器之后的上下文收缩编码CSE模块跳跃连接操作相连，所述第二层解码器与所述第二层编码器之后的上下文收缩编码CSE模块跳跃连接操作相连，所述第三层解码器与所述第三层编码器之后的上下文收缩编码CSE模块跳跃连接操作相连，所述第四层解码器与所述第四层编码器之后的上下文收缩编码CSE模块跳跃连接操作相连，并通过连续两个3
×
3卷积层逐层融合所述上下文收缩编码CSE模块输出
的显著性特征，最终第一层解码器输出与原图大小相等的分割结果。
[0014]作为优选，该种适用于多种视网膜积液联合分割的上下文关注与融合网络还包括损失函数，所述损失函数包括多类对数Dice损失函数、交叉熵损失函数。
[0015]有益效果：本申请的适用于多种视网膜积液联合分割的上下文关注与融合网络，有效的克服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适用于多种视网膜积液联合分割的上下文关注与融合网络，其特征在于，包括特征编码模块、上下文收缩编码CSE模块、上下文金字塔引导CPG模块和特征解码模块，所述上下文收缩编码CSE模块嵌入于所述特征编码模块中，所述上下文金字塔引导CPG模块设置于所述特征编码模块、所述特征解码模块之间，所述上下文收缩编码CSE模块与所述特征解码模块跳跃连接；视网膜OCT图像通过所述特征编码模块和所述上下文收缩编码CSE模块对各层次特征进行选择性聚合，再通过所述上下文金字塔引导CPG模块获得多尺度上下文信息输入到所述特征解码模块中，所述特征解码模块输出对视网膜积液的分割结果。2.根据权利要求1所述的适用于多种视网膜积液联合分割的上下文关注与融合网络，其特征在于，所述特征编码模块包括第一层编码器、与所述第一层编码器下采样操作连接的第二层编码器、与所述第二层编码器下采样操作连接的第三层编码器、与所述第三层编码器下采样操作连接的第四层编码器、与所述第四层编码器下采样操作连接的第五层编码器，所述上下文收缩编码CSE模块设置于所述第一层编码器的、所述第二层编码器的、所述第三层编码器的、所述第四层编码器的、所述第五层编码器的连续两个3
×
3卷积之后。3.根据权利要求1所述的适用于多种视网膜积液联合分割的上下文关注与融合网络，其特征在于，所述上下文收缩编码CSE模块包括CSE输入层、CSE3
×
3卷积层、CSE全局平均池化层、CSE第一1
×
1卷积层、CSE第二1
×
1卷积层、Sigmoid激活函数、软阈值函数、CSE输出层；所述CSE输入层输入的特征图经所述CSE3
×
3卷积层进行变换，提取相关语义信息；变换后的特征图的绝对值经所述全局平均池化层进行全局平均池化操作，以提取丰富的全局上下文信息；全局上下文信息经所述CSE第一1
×
1卷积层、所述CSE第二1
×
1卷积层、所述Sigmoid激活函数后获得一个0～1之间的尺度因子，该尺度因子与经过全局平均池化操作后的特征图相乘得到一个长度为特征通道数的阈值向量τ，并通过所述软阈值函数根据阈值向量τ区分特征后经所述CSE输出层输出。4.根据权利要求3所述的适用于多种视网膜积液联合分割的上下文关注与融合网络，其特征在于，所述软阈值函数的公式为：其中，x表示输入特征，y表示输出特征，τ表示一个大于零的阈值。5.根据权利要求1所述的适用于多种视网膜积液联合分割的上下文关注与融合网络，其特征在于，所述上下文金字塔引导CPG模块包括CPG输入层、...

【专利技术属性】
技术研发人员：朱伟芳，叶妍青，陈新建，
申请(专利权)人：苏州大学，
类型：发明
国别省市：