【技术实现步骤摘要】
本专利技术涉及肾脏肿瘤分割，特别涉及一种基于transformer的边界辅助肾脏肿瘤分割方法。
技术介绍
1、肾细胞癌是一种常见的恶性肿瘤，严重危害人类健康。肾脏肿瘤是肾细胞癌的前体如果不及时治疗，容易转化为恶性肿瘤。利用腹腔镜进行肾脏肿瘤部分切除，是目前治疗肾脏肿瘤的主要方法。对内窥镜图像进行分割，有助于医生更好的识别病灶并进行切除，所以，进行内窥镜图像中肾脏肿瘤的自动准确分割对临床具有重要意义。
2、传统的肾脏肿瘤分割方法通常依赖于手工提取的特征来识别肾脏肿瘤，例如纹理分析、颜色分布、几何特征和强度分布。近年来，随着深度学习的不断发展，基于深度学习的医学图像分割方法被证明优于传统手工提取特征的方法。随着u形网络的提出，编码解码网络已成为医学图像分割中的主流网络架构。经典的深度学习算法有u-net，u-net++，resnet++等网络模型。但是，卷积算子固有的编码器-解码器结构使得模型在进行训练时会丢失一些全局外观细节，特征难以建立全局依赖关系，需要找到一种能够提取全局特征的方法来帮助处理图像分割任务。
3、与cnn相比，transformer会更加关注图片的全局信息，具有更好的泛化能力。它将图像划分为一定数量的小块，通过自注意机制学习小块之间的差异，并对不同小块之间的关联度进行建模，更有效地提取远程依赖关系，使网络能够从全局角度理解语义差异，从而帮助模型更可靠地感知全局上下文特征，提高定位病变位置和提取边界的能力。但是，transformer却不能准确地提取局部细节，在特征融合时，由于只是将低分辨率
4、为此，如何提供一种能够有效提取局部细节信息，并解决高级语义和低级语义融合时的特征错位问题以及肾脏肿瘤的边界模糊问题的基于transformer的边界辅助肾脏肿瘤分割方法是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提出了一种基于transformer的边界辅助肾脏肿瘤分割方法。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种基于transformer的边界辅助肾脏肿瘤分割方法，包括：
4、步骤(1)：采用pvtv2主干提取网络提取内窥镜图像中的主干特征，并采用自适应上下文提取模块分别对不同阶段的主干特征进行自适应提取；
5、步骤(2)：采用混合特征捕获模块分别将不同阶段的自适应提取后得到特征与上一级混合特征捕获模块的输出特征进行混合，并通过sa-ff模块解码；
6、步骤(3)：采用边界辅助模块提取主干特征中的边界轮廓特征，并与混合特征捕获模块最终输出的特征进行融合，得到边界辅助肾脏肿瘤分割预测图。
7、可选的，步骤(1)中，主干特征为多尺度金字塔特征。
8、可选的，步骤(1)中，采用自适应上下文提取模块对主干特征进行自适应提取，具体为：
9、对主干特征进行不同扩张率的空洞卷积处理，得到包含多尺度上下文信息的特征图，并将特征图相乘；
10、采用sa+模块分别对相乘后的特征图进行卷积处理和转置卷积处理，得到两个特征映射，并重塑；
11、在两个特征映射之间执行矩阵乘法，并进行softmax操作计算空间注意力图，与通过转置卷积处理得到的特征映射相乘。
12、可选的，步骤(2)中，混合后的特征通过sa-ff模块解码，具体为：
13、混合后的特征通过三个全连接层后分为q、k以及v，传入sa-ff模块进行解码，且通过ac模块对q和k进行高效提取，对sa-ff模块输出的结果进行辅助。
14、可选的，步骤(2)中，sa-ff模块包含transformer中固有的注意力模块和前向传播模块，如下：
15、isa-ff＝bn(osra+v)+mlp(bn(osra+v))
16、mlp模块，如下：
17、omlp＝relu(fc2(dw(relu(fc1(x)))))；
18、其中，x为输入；fc1()、fc2()为卷积操作；dw为深度卷积；relu为激活函数。
19、可选的，ac模块对q和k进行高效提取，如下：
20、
21、其中，为3x3卷积操作。
22、可选的，步骤(3)中，采用边界辅助模块提取主干特征中的边界轮廓特征，具体为：
23、通过空间注意机制提取位置信息，如下：
24、
25、其中，为3x3卷积操作；为1x1卷积操作；
26、将os输入rc模块，如下：
27、
28、
29、
30、其中，为3x3卷积操作；为1x1卷积操作。
31、可选的，步骤(3)中，边界轮廓特征与混合特征捕获模块最终输出的特征进行融合，如下：
32、
33、
34、
35、
36、其中，为1x1卷积操作；为3x3卷积操作；为1x3卷积操作；为3x1卷积操作；为1x5卷积操作；为5x1卷积操作。
37、可选的，还包括：以混合特征捕获模块以及边界辅助模块的输出结果为优化目标，采用加权交并损失函数与加权二元交叉熵损失函数的结合定义损失函数，如下：
38、
39、
40、
41、
42、
43、其中，yi和y’i分别为第n阶段输出中第i个像素的地表真值和框架的最终输出；和分别为加权二元交叉熵损失和加权交并损失。
44、经由上述的技术方案可知，与现有技术相比，本专利技术提出了一种基于transformer的边界辅助肾脏肿瘤分割方法。通过pvtv2主干提取网络从内窥镜图像中提取更加强大的主干特征，为后续的解码阶段提供更多的前景信息，具有更强的全局信息提取能力和更好的输入干扰鲁棒性；通过自适应上下文提取模块采用多个不同扩张速率扩张卷积，从不同的接收域获取更广泛的特征，有效地提取局部细节信息，解决了肾脏肿瘤多尺度特征适应性问题，并且，可以去除背景噪声的干扰，减少错误判断；通过混合特征捕获模块mfc解决了高级语义和低级语义的融合差异，缩小语义差距，并且能够有效恢复特征；通过边界辅助模块ba提取边界轮廓特征，并与混合特征捕获模块mfc的输出采取比较融合的方式增强边界轮廓细节。综上，本专利技术能够有效提取局部细节信息，并解决高级语义和低级语义融合时的特征错位问题以及肾脏肿瘤的边界模糊问题。
本文档来自技高网...【技术保护点】
1.一种基于Transformer的边界辅助肾脏肿瘤分割方法，其特征在于，包括：
2.根据权利要求1所述的一种基于Transformer的边界辅助肾脏肿瘤分割方法，其特征在于，步骤(1)中，所述主干特征为多尺度金字塔特征。
3.根据权利要求1所述的一种基于Transformer的边界辅助肾脏肿瘤分割方法，其特征在于，步骤(1)中，采用自适应上下文提取模块对所述主干特征进行自适应提取，具体为：
4.根据权利要求1所述的一种基于Transformer的边界辅助肾脏肿瘤分割方法，其特征在于，步骤(2)中，混合后的特征通过SA-FF模块解码，具体为：
5.根据权利要求1所述的一种基于Transformer的边界辅助肾脏肿瘤分割方法，其特征在于，步骤(2)中，所述SA-FF模块包含Transformer中固有的注意力模块和前向传播模块，如下：
6.根据权利要求4所述的一种基于Transformer的边界辅助肾脏肿瘤分割方法，其特征在于，AC模块对Q和K进行高效提取，如下：
7.根据权利要求1所述的一种基于Transfo
8.根据权利要求1所述的一种基于Transformer的边界辅助肾脏肿瘤分割方法，其特征在于，步骤(3)中，所述边界轮廓特征与所述混合特征捕获模块最终输出的特征进行融合，如下：
9.根据权利要求1所述的一种基于Transformer的边界辅助肾脏肿瘤分割方法，其特征在于，还包括：以所述混合特征捕获模块以及所述边界辅助模块的输出结果为优化目标，采用加权交并损失函数与加权二元交叉熵损失函数的结合定义损失函数，如下：
...【技术特征摘要】
1.一种基于transformer的边界辅助肾脏肿瘤分割方法，其特征在于，包括：
2.根据权利要求1所述的一种基于transformer的边界辅助肾脏肿瘤分割方法，其特征在于，步骤(1)中，所述主干特征为多尺度金字塔特征。
3.根据权利要求1所述的一种基于transformer的边界辅助肾脏肿瘤分割方法，其特征在于，步骤(1)中，采用自适应上下文提取模块对所述主干特征进行自适应提取，具体为：
4.根据权利要求1所述的一种基于transformer的边界辅助肾脏肿瘤分割方法，其特征在于，步骤(2)中，混合后的特征通过sa-ff模块解码，具体为：
5.根据权利要求1所述的一种基于transformer的边界辅助肾脏肿瘤分割方法，其特征在于，步骤(2)中，所述sa-ff模块包含transformer中固有的注意力模块和前向传播...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。