【技术实现步骤摘要】
本专利技术涉及深度学习的医学图像分割领域，具体涉及乳腺超声肿块分割方法。
技术介绍
1、在现有技术中，由于乳腺超声肿块形状大小不规则、超声图像中常常存在噪声和伪影、边界模糊不清、肿块与周围组织对比度低，乳腺肿块的传统分割方法主要依赖于目标区域边缘轮廓、区域、阈值等信息，故传统分割方法效果不理想。
2、申请公布号为cn114049357a的专利文献公开了一种基于特征集关联度的乳腺超声分割方法，主干网络采用u型编解码结构，将经过降噪和数据增强的图像输入模型进行特征提取，计算输出特征图与gt图的损失和特征集关联度损失。申请公布号为cn108665461a的专利文献公开了一种基于fcn和迭代声影校正的乳腺超声图像分割方法，用第一个fcn网络实现超声图像的声影校正，第二个fcn网络实现最终的分割结果。上述方法解决乳腺超声图像中存在噪声以及部分图像中边界模糊的分割难点，但是对乳腺超声图像中存在伪影、对比度低导致误分割的情况，分割效果不理想。
3、近年来，基于transformer的模型由于其高效的自注意力机制，被广泛应用于计算机视觉领域，其效果优于传统的卷积神经网络cnn。mix transformer(mit)是众多transformer变体中的一种，具有mit-b0到mit-b5五个系列，它们结构相同但尺寸不同。本专利技术编码器采用在ade20k数据集上预训练的mit-b2网络模型，一种基于transformer和多级特征聚合的乳腺超声肿块分割方法。
技术实现思路
2、为了解决上述技术问题，本专利技术采用的技术方案为：
3、一种基于transformer和多级特征聚合的乳腺超声肿块分割方法，包括以下步骤：
4、步骤1：采用mit编码层特征提取模块作为网络编码部分实现对乳腺超声图像的特征提取，输出4层特征图f1、特征图f2、特征图f3、特征图f4；
5、步骤2：将输出的4层特征图输入解码部分的多层分支感受野模块rbf，获得4层捕捉到更广泛上下文信息的特征图r1、特征图r2、特征图r3、特征图r4；
6、步骤3：使用置换注意力模块sam对4层具有广泛上下文信息的特征图进行重要信息捕获，输出特征图s1、特征图s2、特征图s3、特征图s4；
7、步骤4：采用聚合模块aggregation module对输出特征图s3、特征图s4进行融合，得到特征图a1；采用聚合模块aggregation module对特征图a1与特征图s2进行融合，得到特征图a2；采用聚合模块aggregation module对特征图a2与特征图s1进行融合，得到特征图a3；
8、通过以上步骤对乳腺超声图像进行分割。
9、在步骤1中，mit编码层特征提取模块包括编码层特征提取模块的第一阶段、编码层特征提取模块的第二阶段、编码层特征提取模块的第三阶段、编码层特征提取模块的第四阶段；
10、如图2所示，编码层特征提取模块具体为：
11、输入图像→第一高效自注意力层efficient self-attention→第一混合前馈网络mix-ffn→第一重叠图块合并层overlap patch merging→特征图f1→第二高效自注意力层efficient self-attention→第二混合前馈网络mix-ffn→第二重叠图块合并层overlap patch merging→特征图f2→第三高效自注意力层efficient self-attention→第三混合前馈网络mix-ffn→第三重叠图块合并层overlap patch merging→特征图f3→第四高效自注意力层efficient self-attention→第四混合前馈网络mix-ffn→第四重叠图块合并层overlap patch merging→特征图f4。
12、在步骤2中，多层分支感受野模块rbf包括第一多层分支感受野模块rbf，第二多层分支感受野模块rbf，第三多层分支感受野模块rbf，第四多层分支感受野模块rbf；
13、如图3所示，多层分支感受野模块rbf模型结构如下：
14、特征图→1×1卷积操作→特征图c1；特征图→1×1卷积操作→1×3卷积操作→3×1卷积操作→3×3空洞卷积操作→特征图c2；特征图→1×1卷积操作→1×5卷积操作→5×1卷积操作→3×3空洞卷积操作→特征图c3；特征图→1×1卷积操作→1×7卷积操作→7×1卷积操作→3×3空洞卷积操作→特征图c4；
15、特征图c1、特征图c2、特征图c3、特征图c4→concatenation融合操作→1×1卷积操作→与特征图add加法操作→relu激活函数。
16、如图4所示，在步骤3中，置换注意力模块sam包括第一置换注意力模块sam，第二置换注意力模块sam，第三置换注意力模块sam，第四置换注意力模块sam；
17、置换注意力模块sam处理步骤如下：
18、特征分组→通道注意力和空间注意力→亚特征融合→特征图聚合→跨组信息交流；
19、其中，特征分表示沿通道维度将特征图划分为g个组，对每一组继续划分为两小组；通道注意力表示第一小组基于特征通道之间的相互关系，输出通道注意力亚特征图；空间注意力表示第二小组利用像素级别的空间信息，输出空间注意力亚特征图；亚特征融合表示对通道注意力亚特征图和空间注意力亚特征图进行concatenation融合操作，得到每一组的特征图；特征图聚合表示经过亚特征融合处理得到g组特征图，进而聚合g组特征图；跨组信息交流表示对聚合后的特征图采用通道混合channel shuffle操作，沿着通道维度实现跨组信息交流。
20、在步骤4中，聚合模块aggregation module包括第一聚合模块aggregationmodule，第二聚合模块aggregation module，第三聚合模块aggregation module；
21、第三聚合模块aggregation module聚合特征图s3、特征图s4得到特征图a1→第二聚合模块aggregation module聚合特征图a1、特征图s2得到特征图a2→第三聚合模块aggregation module聚合特征图a2、特征图s1得到特征图a3；
22、如图5所示，聚合模块aggregation module处理步骤如下：
23、1)对高分辨率特征图h通过平均池化avg pooling下采样得到特征图h1→3×3卷积操作→bn批归一化操作→relu激活函数→得到特征图h2；
24、2)对高分辨率特征图h进行3×3卷积操作→bn批归一化操作→relu激活本文档来自技高网...
【技术保护点】
1.一种基于Transformer和多级特征聚合的乳腺超声肿块分割方法，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤1中，MiT编码层特征提取模块包括编码层特征提取模块的第一阶段(1)、编码层特征提取模块的第二阶段(2)、编码层特征提取模块的第三阶段(3)、编码层特征提取模块的第四阶段(4)；
3.根据权利要求1所述的方法，其特征在于，
4.根据权利要求1所述的方法，其特征在于，
5.根据权利要求1所述的方法，其特征在于，在步骤4中，聚合模块Aggregation Module包括第一聚合模块Aggregation Module，第二聚合模块Aggregation Module，第三聚合模块Aggregation Module；
6.一种基于Transformer和多级特征聚合的乳腺超声肿块分割模型，其特征在于，该模型的结构为：
7.根据权利要求6所述的模型，其特征在于，编码层特征提取模块具体为：
8.根据权利要求6所述的模型，其特征在于，多层分支感受野模块RBF包括第一多层分
9.根据权利要求6所述的模型，其特征在于，置换注意力模块SAM包括第一置换注意力模块SAM，第二置换注意力模块SAM，第三置换注意力模块SAM，第四置换注意力模块SAM；
10.根据权利要求6所述的模型，其特征在于，聚合模块Aggregation Module包括第一聚合模块Aggregation Module，第二聚合模块Aggregation Module，第三聚合模块Aggregation Module；
...【技术特征摘要】
1.一种基于transformer和多级特征聚合的乳腺超声肿块分割方法，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，在步骤1中，mit编码层特征提取模块包括编码层特征提取模块的第一阶段(1)、编码层特征提取模块的第二阶段(2)、编码层特征提取模块的第三阶段(3)、编码层特征提取模块的第四阶段(4)；
3.根据权利要求1所述的方法，其特征在于，
4.根据权利要求1所述的方法，其特征在于，
5.根据权利要求1所述的方法，其特征在于，在步骤4中，聚合模块aggregation module包括第一聚合模块aggregation module，第二聚合模块aggregation module，第三聚合模块aggregation module；
6.一种基于transformer和多级特征聚合的乳腺...
【专利技术属性】
技术研发人员：夏平，王雨蝶，张光一，彭程，雷帮军，何志豪，李子怡，
申请(专利权)人：三峡大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。