基于双尺度编码器网络的医学图像分割方法、设备和介质技术

本发明专利技术公开了一种基于双尺度编码器网络的医学图像分割方法、设备和介质，方法针对待分割的医学图像，使用训练好的双尺度编码器网络DSE

【技术实现步骤摘要】
基于双尺度编码器网络的医学图像分割方法、设备和介质


[0001]本专利技术属于医学图像处理
，涉及一种基于双尺度编码器网络的医学图像分割方法、设备和介质。

技术介绍

[0002]医学图像分割是一个重要而又具有挑战性的研究课题，图像分割为医学图像定量分析提供重要的科学依据。研究一种精准的医学图像分割网络框架不仅提高诊断效率，同时提高诊断的准确率。U
‑
Net在医学图像分割任务上取得了巨大的成功，很多基于U型网络改进的模型也在不断提升医学图像分割的性能。在U型网络中，编码器将捕获到的图像上下文信息提供给解码器，以便增强解码器所损失的信息，解码器逐层上采样恢复到输入图像的分辨率大小。但由于U型分割框架中卷积层的局限性，无法捕获长距离依赖关系。近年来，一种新颖的结构Transformer在计算机视觉中成取得了广泛应用，Transformer作为编码能够捕捉图像中长范围依赖关系，视觉Transformer(ViT)在图像分割中展现出色的性能。同时在分割框架编码阶段，单尺度的卷积层会忽略一些纹理粗糙或者细密纹理的信息。

技术实现思路

[0003]本文所解决的问题是针对现有技术的不足，提出一种基于双尺度编码器网络的医学图像分割方法、设备和介质，能够实现更精确、更完整的医学图像分割性能。
[0004]为实现上述技术目的，本专利技术采用如下技术方案：
[0005]一种基于双尺度编码器网络的医学图像分割方法，针对待分割的医学图像，使用训练好的双尺度编码器网络DSE
‑/>Net对图像的目标进行分割；
[0006]其中DSE
‑
Net由粗分割和细分割部分组成；
[0007]粗分割部分使用双尺度编码器对原始输入的医学图像进行逐层编码，并使用解码器对编码输出的特征图逐层上采样直至恢复到输入图像大小，并输出预测的粗分割图；其中，双尺度编码器包括两种尺度的编码块；
[0008]细分割部分使用基于Transformer的细化模块对预测的粗分割图进行细化，得到细化的医学图像分割图。
[0009]进一步地，粗分割部分采用多层编码器和解码器构成的U型网络结构；在第一层编码器之前包括初始卷积块，用于对原始输入的医学图像进行初始卷积；初始卷积块之后的各层编码器之间，使用池化操作对输入特征图逐级下采样；各层解码器之间采用双线性插值逐级上采样。
[0010]进一步地，每层编码器中每种尺度的编码块，均由4个基础残差块和2层4头注意力的Transformer级联组成，输出是由基础残差块的输出和Transformer的输出计算残差所得。
[0011]进一步地，在最后一层编码器与解码器之间的桥接层中，将最后一层编码器得到的双尺度特征图通过级联、卷积、BN层和ReLU层操作进行融合，随后输入到由若干卷积块搭
建的桥接层中，并将桥接层的输出特征图与最后一层跳跃连接的输出特征图进行级联，用于最后一层解码器的输入特征图。
[0012]进一步地，在同层编码器和解码器之间的跳跃连接中，设置通道注意融合模块以对编码器输出的双尺度特征图进行通道融合；所述通道注意融合模块：一方面将编码器输出的双尺度的特征图Fs
i
和Fl
i
级联，然后进行conv层、BN层和ReLU层运算得到特征图Ff
i
；另一方面，将两种尺度的特征图Fs
i
和Fl
i
融入到通道注意力模块以捕获通道之间的依赖关系，得到特征图最终将特征图Ff
i
和经过残差计算得到通道注意融合模块的输出特征图其中下标i指代编码器和解码器所在层的层次。
[0013]进一步地，将两种尺度的特征图Fs
i
和Fl
i
融入到通道注意力模块以捕获通道之间的依赖关系，具体为：
[0014]将小尺度特征图Fs
i
和大尺度特征图Fl
i
整形为一系列平坦二维patch，然后将2个尺度特征图的tokens拼接后作为key和value，即尺度特征图的tokens拼接后作为key和value，即和分别表示小尺度和大尺度特征图的tokens，contact表示和的拼接操作，通过将向量和拼接得到；其中的patch为序列块，tokens为查询，key和value分别为键和值；
[0015]将相应的权值矩阵融入Transformer中用于计算注意力值，并计算得到输出O
i
：
[0016][0017][0018][0019]O
i
＝MCA
i
+MLP(Q
i
+MCA
i
)
[0020]式中，和表示第i层小尺度和大尺度的查询矩阵，K
i
和V
i
分别表示第i层的键、值矩阵，和分别表示第i层小尺度特征图的查询权重矩阵、大尺度特征图的查询权重矩阵、键的权重矩阵和值的权重矩阵，CA
i
表示第i层的通道融合的注意力值，MCA
i
表示对第i层的N个注意头进行平均值化，MLP表示多层感知机，d是二维序列块的数量，M
i
为相似度矩阵，表示第i层的2个尺度特征图的quries；
[0021]将输出重塑形成并将和第i层解码器特征图D
i
∈R
Ci
×
Hi
×
Wi
作为通道交叉注意的输入，将O
i
和D
i
执行全局平均池得到和输出的特征图由使用以下公式生成，即通道注意力掩码σ(
·
)与特征图O
i
相乘，得到通道注意力模块的输出
[0022][0023]其中，σ(
·
)表示每个通道的相关性，α1，α2分别是两个线性层的权值。
[0024]进一步地，所述基于Transformer的细化模块，首先将预测得到的粗分割图S1进行初始卷积改变其的通道得到S2；然后将第一层编码器输出的双尺度特征图进行级联、conv和ReLU操作得到特征图F1∈R
64
×
H
×
W
，再将初始卷积的输出S2和F1进行级联，并使用卷积层、
归一化层和ReLU层得到特征图输出C；再将输出特征图C送入具有4层多头注意的Transformer中进行学习，并将Transformer输出的mask与粗分割图S1进行残差计算得到最终的细化分割图。
[0025]进一步地，训练双尺度编码器网络DSE
‑
Net的损失函数设为所有侧边损失输出的总和：
[0026][0027]其中，Loss是总损失，l
k
是第k边输出的损失，l
k
(k＝1,
…
,M)分别代表总共M
‑
1个解码器输出和细分割部分输出的损失，其中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双尺度编码器网络的医学图像分割方法，其特征在于，针对待分割的医学图像，使用训练好的双尺度编码器网络DSE
‑
Net对图像的目标进行分割；其中DSE
‑
Net由粗分割和细分割部分组成；粗分割部分使用双尺度编码器对原始输入的医学图像进行逐层编码，并使用解码器对编码输出的特征图逐层上采样直至恢复到输入的图像大小，并输出预测的粗分割图；其中，双尺度编码器包括两种尺度的编码块；细分割部分使用基于Transformer的细化模块对预测的粗分割图进行细化，得到细化的医学图像分割图。2.根据权利要求1所述的医学图像分割方法，其特征在于，粗分割部分采用多层编码器和解码器构成的U型网络结构；在第一层编码器之前包括初始卷积块，用于对原始输入的医学图像进行初始卷积；初始卷积块之后的各层编码器之间，使用池化操作对输入特征图逐级下采样；各层解码器之间采用双线性插值逐级上采样。3.根据权利要求1所述的医学图像分割方法，其特征在于，每层编码器中每种尺度的编码块，均由4个基础残差块和2层4头注意力的Transformer级联组成，输出是由基础残差块的输出和Transformer的输出计算残差所得。4.根据权利要求1所述的医学图像分割方法，其特征在于，在最后一层编码器与解码器之间的桥接层中，将最后一层编码器得到的双尺度特征图通过级联、卷积、BN层和ReLU层操作进行融合，随后输入到由若干卷积块搭建的桥接层中，并将桥接层的输出特征图与最后一层跳跃连接的输出特征图进行级联，用于最后一层解码器的输入特征图。5.根据权利要求1所述的医学图像分割方法，其特征在于，在同层编码器和解码器之间的跳跃连接中，设置通道注意融合模块以对编码器输出的双尺度特征图进行通道融合；所述通道注意融合模块：一方面将编码器输出的双尺度的特征图Fs
i
和Fl
i
级联，然后进行conv层、BN层和ReLU层运算得到特征图Ff
i
；另一方面，将两种尺度的特征图Fs
i
和Fl
i
融入到通道注意力模块以捕获通道之间的依赖关系，得到特征图最终将特征图Ff
i
和经过残差计算得到通道注意融合模块的输出特征图其中下标i指代编码器和解码器所在层的层次。6.根据权利要求5所述的医学图像分割方法，其特征在于，将两种尺度的特征图Fs
i
和Fl
i
融入到通道注意力模块以捕获通道之间的依赖关系，具体为：将小尺度特征图Fs
i
和大尺度特征图Fl
i
整形为一系列平坦二维patch，然后将2个尺度特征图的tokens拼接后作为key和value，即特征图的tokens拼接后作为key和value，即和分别表示小尺度和大尺度特征图的tokens，contact表示和的拼接操作，通过将向...

【专利技术属性】
技术研发人员：朱承璋，张仁茂，肖亚龙，柴娴，杨章正，段宣初，
申请(专利权)人：中南大学，
类型：发明
国别省市：