本发明专利技术提供了基于OCT图像的脉络膜亚层与大血管联合分割的方法，涉及图像处理技术领域，本方法包括步骤S1：构建脉络膜亚层和脉络膜大血管的联合分割框架，其中联合分割框架包括第一子网络和第二子网络，第一子网络为脉络膜亚层分割子网络，第二子网络为脉络膜大血管分割子网络；S2：构建空间注意力模块和边界增强模块，对OCT图像中脉络膜亚层的边界信息进行强化；S3：基于Transformer构建用于数据集的特征提取模块，来提取脉络膜大血管信息；S4：通过由交叉熵损失项和豪斯多夫距离损失项组成的损失函数来优化血管形态。本方法能够有效提升脉络膜亚层和大血管结构的分割精度。升脉络膜亚层和大血管结构的分割精度。升脉络膜亚层和大血管结构的分割精度。
【技术实现步骤摘要】
基于OCT图像的脉络膜亚层与大血管联合分割的方法
[0001]本专利技术涉及图像处理
，具体而言，涉及基于OCT图像的脉络膜亚层与大血管联合分割的方法。
技术介绍
[0002]脉络膜是人体血管信息最丰富的结构之一，且根据其血管大小可将其分为三个亚层，分别为毛细血管层、中血管层和大血管层，它向外层视网膜提供营养，具有温度调节、视网膜位置调节以及生长因子分泌的作用。脉络膜的高血流量使得其在不同极端温度环境条件下免受伤害，脉络膜厚度会随着屈光度的变化而改变。此外，脉络膜形态结构改变与主要眼病的发生率和严重程度有直接关系，如病理性近视、糖尿病视网膜病变、年龄相关性黄斑变性和青光眼。
[0003]目前，对脉络膜形态结构的量化分析很大程度上依赖于临床专家在二维图像上的人工分析。由于临床专家的人工分析费时费力，因此对脉络膜亚层与大血管分析算法的需求十分迫切，尤其针对两种结构的分割更需要通过联合分割的方法来减少多模型分割的冗杂性。而当前的脉络膜亚层及大血管的自动分割及分析工作相对较少，一般的脉络膜层分割方法缺少对亚层开展更为细化的分割，不利于深度学习神经网络的训练，容易造成分割准确率低等情况；有些模型也没有针对脉络膜特性以及医学图像数据稀缺的现状，仅仅采用通用的共享编码解码模块，不能精准地分割提取脉络膜血管结构。脉络膜亚层和大血管结构分割任务仍然面临着严峻的挑战；如何用一个网络框架对两种结构进行联合分割是较为困难却又亟需探索的。
技术实现思路
[0004]本专利技术解决的问题是如何有效提升脉络膜亚层和大血管结构的分割精度。
[0005]为解决上述问题，本专利技术提供基于OCT图像的脉络膜亚层与大血管联合分割的方法，包括步骤：
[0006]S1：构建脉络膜亚层和脉络膜大血管的联合分割框架，其中联合分割框架包括第一子网络和第二子网络，第一子网络为脉络膜亚层分割子网络，第二子网络为脉络膜大血管分割子网络；
[0007]S2：构建空间注意力模块和边界增强模块，对OCT图像中脉络膜亚层的边界信息进行强化；
[0008]S3：基于Transformer构建用于数据集的特征提取模块，来提取脉络膜大血管信息；
[0009]S4：通过由交叉熵损失项和豪斯多夫距离损失项组成的损失函数来优化血管形态，降低脉络膜大血管分割过程中存在的位置和形状偏差。
[0010]在上述方法中，搭建一个包括多个编码器和解码器结构的脉络膜亚层和脉络膜大血管联合分割框架。通过空间注意力模块和边界增强模块，加强了分割网络对于脉络膜亚
层边界信息的识别能力，从而优化了脉络膜亚层分割结果的边界。基于Transformer的特征提取模块，可以有效提升医学图像数据稀缺的情况下分割模型的鲁棒性。由豪斯多夫距离损失项，消除了脉络膜大血管分割过程中存在的位置和形状偏差。该联合分割的方法可以有效提升脉络膜亚层和大血管结构的分割精度。
[0011]进一步地，所述脉络膜亚层分割子网络以多个编码器和解码器为架构；
[0012]每个编码器采用后接最大池化层的U型残差模块，每个解码器采用后接上采样的U型残差模块，对称的编码器层和解码器层之间通过跳跃连接，U型残差模块输入与最后一层输出相加，得到最终输出。
[0013]在上述方法中，脉络膜亚层分割子网络中，对称的编码器层和解码器层分别采用的上采样模块和下采样模块数量由输入层和输出层到瓶颈层依次为5、4、3、2、1；为了加强网络对边界特征提取能力，瓶颈层还引入了并联的空间注意力模块和边界增强模块，并将两个模块的输出特征图和编码器最后一层的输出特征图相加后输入解码器。
[0014]进一步地，所述步骤S2中空间注意力模块包括步骤：
[0015]S21：将输入的大小为C
×
H
×
W的特征图调整为C
×
N大小的张量F，其中，N＝H
×
W；
[0016]S22：将张量F分别进行带归一化的1
×
3卷积、3
×
1卷积和3
×
3卷积操作得到大小均为C
×
N的张量Q、K和V；
[0017]S23：通过转置操作将张量Q的维度由C
×
N变换为N
×
C，并与张量K进行矩阵乘法，经Softmax操作得到N
×
N的矩阵W；
[0018]S24：将张量V与矩阵W进行矩阵乘法后进行带归一化的1
×
1卷积操作得到C
×
N大小的张量，再调整为C
×
H
×
W大小后和输入特征图进行相加得到最终输出。
[0019]进一步地，所述步骤S2中边界增强模块包括步骤：
[0020]S25：对输入特征图进行1
×
1的卷积与归一化操作，在进行Softmax操作后通过边界激活函数进行激活；
[0021]S26：将输入特征图和激活函数的输出进行哈达玛乘积后输出。
[0022]进一步地，所述激活函数表示为：
[0023][0024]其中，f表示输入特征图，C2D1表示1
×
1卷积操作，S表示Softmax函数。
[0025]进一步地，所述脉络膜大血管分割子网络将亚层分割结果进行独热编码处理，提取出背景以及大血管层部分，与原OCT图进行拼贴操作，形成一个新的三通道图片作为脉络膜大血管分割子网络的输入；
[0026]所述脉络膜大血管分割子网络采用与脉络膜亚层分割子网络相同的结构，瓶颈层替换为一个基于Transformer的特征提取模块。
[0027]在上述方法中，基于自注意机制的Transformer编码层，可以让网络更关注与自身相关的标记。局部自注意力机制能够在标记间赋予更大的分数，从而减小标记自相关分数。
[0028]进一步地，所述特征提取模块的结构框架包括步骤：
[0029]S31：对输入特征图进行空间形态变换，分别向左上、右上、左下和右下四个方向分别平移相同距离；
[0030]S32：将平移后的特征图进行拼贴操作和特征拆分，得到一个块特征；
[0031]S33：将块特征进行线性映射转换成多个标记输入到Transformer编码模块。
[0032]进一步地，所述步骤S4中交叉熵损失项表示为：
[0033]Loss
CE
＝Loss
Sublayer
+Loss
Vessel
[0034]其中，Loss
Sublayer
为用于约束脉络膜亚层分割的多类交叉熵损失项；Loss
Vessel
为用于约束脉络膜大血管的二元交叉熵损失项，分别表示为：
[0035][0036][0037]其中，脉络膜亚层分为四层，和分别表示第i个像素属于第k类的标签值和预测概率；W
k
为第k类交叉熵损失的权重；y
i<本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于OCT图像的脉络膜亚层与大血管联合分割的方法，其特征在于，包括步骤：S1：构建脉络膜亚层和脉络膜大血管的联合分割框架，其中联合分割框架包括第一子网络和第二子网络，第一子网络为脉络膜亚层分割子网络，第二子网络为脉络膜大血管分割子网络；S2：构建空间注意力模块和边界增强模块，对OCT图像中脉络膜亚层的边界信息进行强化；S3：基于Transformer构建用于数据集的特征提取模块，来提取脉络膜大血管信息；S4：通过由交叉熵损失项和豪斯多夫距离损失项组成的损失函数来优化血管形态，降低脉络膜大血管分割过程中存在的位置和形状偏差。2.根据权利要求1所述的基于OCT图像的脉络膜亚层与大血管联合分割的方法，其特征在于，所述脉络膜亚层分割子网络以多个编码器和解码器为架构；每个编码器采用后接最大池化层的U型残差模块，每个解码器采用后接上采样的U型残差模块，对称的编码器层和解码器层之间通过跳跃连接，U型残差模块输入与最后一层输出相加，得到最终输出。3.根据权利要求1所述的基于OCT图像的脉络膜亚层与大血管联合分割的方法，其特征在于，所述步骤S2中空间注意力模块包括步骤：S21：将输入的大小为C
×
H
×
W的特征图调整为C
×
N大小的张量F，其中，N＝H
×
W；S22：将张量F分别进行带归一化的1
×
3卷积、3
×
1卷积和3
×
3卷积操作得到大小均为C
×
N的张量Q、K和V；S23：通过转置操作将张量Q的维度由C
×
N变换为N
×
C，并与张量K进行矩阵乘法，经Softmax操作得到N
×
N的矩阵W；S24：将张量V与矩阵W进行矩阵乘法后进行带归一化的1
×
1卷积操作得到C
×
N大小的张量，再调整为C
×
H
×
W大小后和输入特征图进行相加得到最终输出。4.根据权利要求3所述的基于OCT图像的脉络膜亚层与大血管联合分割的方法，其特征在于，所述步骤S2中边界增强模块包括步骤：S25：对输入特征图进行1
×
1的卷积与归一化操作，在进行Softmax操作后通过边界激活函数进行激活；S26：将输入特征图和激活函数的输出进行哈达玛乘积后输出。5.根据权利要求4所述的基于OCT图像的脉络膜亚层与大血管联合...
【专利技术属性】
技术研发人员：吴文俊，赵一天，张炯，马煜辉，阎岐峰，
申请(专利权)人：宁波慈溪生物医学工程研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。