用于医学图像分割的ATFormer架构及对应方法技术

本发明专利技术提供一种用于医学图像分割的ATFormer架构，包括补丁划分层、编码器、瓶颈层、解码器和线性投影层；补丁划分层，将输入的医学图像划分为非重叠的补丁图像；编码器，将非重叠的补丁图像生成不同分辨率下的特征图，特征图的分辨率降低和特征维度增加；瓶颈层，对特征图进行深度特征学习；解码器，将来自编码器的不同分辨率下的特征图在渐进式引导融合(PGF)模块的共同作用下，进行逐步上采样，上采样后的特征图的分辨率升高、特征维度降低，将特征图的分辨率恢复至原始分辨率；线性投影层，将解码器输出的特征图输出为逐像素级分割的预测结果。本发明专利技术提供了一种新的ATFormer架构，可用于医学图像分割，且分割结果精确。且分割结果精确。且分割结果精确。

【技术实现步骤摘要】
用于医学图像分割的ATFormer架构及对应方法


[0001]本专利技术涉及医学图像分析领域，更具体地，涉及一种用于医学图像分割的ATFormer架构及医学图像分割方法。

技术介绍

[0002]精确的医学图像分割结果对于医学图像分析(如临床辅助诊断、术前评估等)起着至关重要的作用。基于CNN的方法对于医学图像分割任务一直发挥着基石的作用，因为它对于图像具有平移不变性等归纳偏置。随着Transformer在自然语言处理(NLP)中取得成功，研究人员也将其广泛应用到医学图像处理领域中。然而，对于医学图像分割任务，基于Transformer的方法依然处于初步阶段。

技术实现思路

[0003]本专利技术针对现有技术中存在的技术问题，提供一种用于医学图像分割的ATFormer架构及医学图像分割方法。
[0004]根据本专利技术的第一方面，提供了一种用于医学图像分割的ATFormer架构，包括补丁划分层、编码器、瓶颈层、解码器和线性投影层；
[0005]补丁划分层，将输入的医学图像划分为非重叠的补丁图像；
[0006]编码器，将非重叠的补丁图像生成不同分辨率下的特征图，特征图的分辨率降低和特征维度增加；
[0007]瓶颈层，对特征图进行深度特征学习；
[0008]解码器，将来自编码器的不同分辨率下的特征图在PGF模块的共同作用下，进行逐步上采样，上采样后的特征图的分辨率升高、特征维度降低，将特征图的分辨率恢复至原始分辨率；
[0009]线性投影层，将解码器输出的特征图输出为逐像素级分割的预测结果。
[0010]根据本专利技术的第二方面，提供一种基于ATFormer架构的医学图像分割方法，所述ATFormer架构包括补丁划分层、编码器、瓶颈层、解码器和线性投影层，所述方法包括：
[0011]补丁划分层将输入的医学图像划分为非重叠的补丁图像；
[0012]将所述非重叠的补丁图像在编码器中生成不同分辨率下的特征图，所述特征图的分辨率降低和特征维度增加；
[0013]瓶颈层对特征图进行深度特征学习；
[0014]解码器，将来自编码器的不同分辨率下的特征图在PGF模块的共同作用下，进行逐步上采样，上采样后的特征图的分辨率升高、特征维度降低，将特征图的分辨率恢复至原始分辨率；
[0015]通过线性投影层将所述解码器输出的特征图输出为逐像素级分割的预测结果。
[0016]本专利技术提供的一种用于医学图像分割的ATFormer架构及医学图像分割方法，提供了一种新的ATFormer架构，可用于医学图像分割，且分割结果精确。
附图说明
[0017]图1为本专利技术提供的一种用于医学图像分割的ATFormer架构示意图；
[0018]图2为Advanced Transformer Block的结构示意图；
[0019]图3(a)为简约版的AMix
‑
FFN模块的结构示意图；
[0020]图3(b)为本专利技术的AMix
‑
FFN模块的结构示意图；
[0021]图4为渐进式引导融合模块的结构示意图；
[0022]图5为本专利技术提供的一种医学图像分割方法的流程图。
具体实施方式
[0023]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。另外，本专利技术提供的各个实施例或单个实施例中的技术特征可以相互任意结合，以形成可行的技术方案，这种结合不受步骤先后次序和/或结构组成模式的约束，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本专利技术要求的保护范围之内。
[0024]图1为本专利技术提供的一种用于医学图像分割的ATFormer架构，ATFormer架构包括补丁划分层、编码器、瓶颈层、解码器和线性投影层。
[0025]其中，补丁划分层，将输入的医学图像划分为非重叠的补丁图像；编码器，将非重叠的补丁图像生成不同分辨率下的特征图，特征图的分辨率降低和特征维度增加；瓶颈层，对特征图进行深度特征学习；解码器，将来自编码器的不同分辨率下的特征图在PGF模块的共同作用下，进行逐步上采样，上采样后的特征图的分辨率升高、特征维度降低，将特征图的分辨率恢复至原始分辨率；线性投影层，将解码器输出的特征图输出为逐像素级分割的预测结果。
[0026]作为实施例，所述编码器包括补丁嵌入层以及串联的三组Advanced Transformer Block和补丁融合层。补丁嵌入层将每一个补丁图像的维度投影到指定维度；串联的三组Advanced Transformer Block和补丁融合层，基于指定维度的补丁图像，生成层次特征表示的特征图像；其中，Advanced Transformer Block通过低计算复杂度学习远程依赖性和局部上下文，补丁融合层负责生成下采样特征图，所述下采样特征图的分辨率降低、维度增加。
[0027]所述解码器包括三组补丁扩展层、PGF模块和Advanced Transformer Block以及一个单独的补丁扩展层；每一组中的补丁扩展层将所述编码器输出的深层特征图以进行上采样，将相邻维度的特征图重塑为原来分辨率的2倍，特征维度减少为原来维度的一半；将上采样后的特征图与来自编码器中相应组的Advanced Transformer Block输出的多尺度特征图一起输入PGF模块中，并经过Advanced Transformer Block中进行学习特征表示；经过多组补丁扩展层、PGF模块和Advanced Transformer Block处理后，最后经过单独的补丁扩展层，将输出的特征图的分辨率还原为输入的医学图像相一致的分辨率。
[0028]可以理解的是，本专利技术所提出的ATFormer(Advanced Transformer)的总体架构如
图1所示。它保持着与U
‑
Net相似的U型编码器
‑
解码器架构。具体来说，给定一副医学图像，为了将图像数据转换为序列嵌入，补丁划分层首先将输入的医学图像划分为非重叠的补丁图像，大小为4
×
4。然后，将非重叠的补丁图像送入编码器中以生成不同分辨率下的特征。在编码器中，首先应用补丁嵌入层将特征维度投影到指定维度(表示为C)。变换后的tokens(Transformer对变换后特征的命名)通过三个相互交错的Advanced Transformer Block和补丁融合层去生成层次特征表示。Advanced Transformer Block通过较低的计算复杂度(低于二次复杂度)去学习远程依赖性和局部上下文，补丁融合层负责生成下采样特征和扩展维度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于医学图像分割的ATFormer架构，其特征在于，所述ATFormer架构包括补丁划分层、编码器、瓶颈层、解码器和线性投影层；补丁划分层，将输入的医学图像划分为非重叠的补丁图像；编码器，将非重叠的补丁图像生成不同分辨率下的特征图，特征图的分辨率降低和特征维度增加；瓶颈层，对特征图进行深度特征学习；解码器，将来自编码器的不同分辨率下的特征图在PGF模块的共同作用下，进行逐步上采样，上采样后的特征图的分辨率升高、特征维度降低，将特征图的分辨率恢复至原始分辨率；线性投影层，将解码器输出的特征图输出为逐像素级分割的预测结果。2.根据权利要求1所述的ATFormer架构，其特征在于，所述编码器包括补丁嵌入层以及串联的三组Advanced Transformer Block和补丁融合层；所述补丁嵌入层将每一个补丁图像的维度投影到指定维度；所述串联的三组Advanced Transformer Block和补丁融合层，基于指定维度的补丁图像，生成层次特征表示的特征图像；其中，所述Advanced Transformer Block通过低计算复杂度学习远程依赖性和局部上下文，所述补丁融合层负责生成下采样特征图，所述下采样特征图的分辨率降低、维度增加。3.根据权利要求2所述的ATFormer架构，其特征在于，每一组Advanced Transformer Block包括两个，每一个Advanced Transformer Block包括多头自注意力模块、两个后层归一化、含有GELU激活函数的AMix
‑
FFN模块以及两个残差连接，其中一个Advanced Transformer Block中的多头自注意力模块为基于窗口机制的多头注意力W
‑
MSA模块，另一个Advanced Transformer Block中的多头自注意力模块为基于移位窗口机制的多头注意力SW
‑
MSA模块；第一个Advanced Transformer Block中的W
‑
MSA模块、第一后层归一化、第一AMix
‑
FFN模块和第二后层归一化依次连接，并且在W
‑
MSA之前和第一后层归一化之后通过第一残差连接进行连接，第一AMix
‑
FFN模块之前和第二后层归一化之后通过第二残差连接进行连接，第二个Advanced Transformer Block中的SW
‑
MSA模块、第三后层归一化、第二AMix
‑
FFN模块和第四后层归一化依次连接，并且在SW
‑
MSA之前和第三后层归一化之后通过第三残差连接进行连接，第二AMix
‑
FFN模块之前和第四后层归一化之后通过第四残差连接进行连接，所述第二后层归一化的输出与所述SW
‑
MSA模块的输入连接。4.根据权利要求3所述的ATFormer架构，其特征在于，两个连续的Advanced Transformer Block表示为：Block表示为：Block表示为：Block表示为：
其中和z
l
分别表示第一个Advanced Transformer Block中的多头自注意力模块和第一AMix
‑
FFN模块的输出；和z
l+1
分别表示第二个Advanced Transformer Block中的多头自注意力模块和第二AMix
‑
FFN模块的输出；W
‑
MSA和SW
‑

【专利技术属性】
技术研发人员：谢勤岚，陈勇，陈红，陆雪松，
申请(专利权)人：中南民族大学，
类型：发明
国别省市：