面向分割任务的融合SwinTransformer与UNet的迁移学习方法和系统技术方案

本发明专利技术涉及一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法和系统，包括：步骤1、将包含Nc个通道待分割图像输入到特征提取网络F；步骤2、将所述特征提取网络F提取的不同尺度的矢量化特征复原为不同尺度特征图；步骤3、将不同尺度的特征图输入到分割网络S中，获得源域与目标域两个域所需分割对象的分割结果；步骤4、将不同尺度的特征图输入到域判别网络D中，判断特征是来自于源域还是目标域，并给出相应的标签；步骤5、计算源域训练样本分割损失部分、目标域训练样本分割损失部分、域判别网络的判别损失部分，并将上述三个部分加权叠加获得整体损失；步骤6、通过最小化整体损失，迭代优化直至整体损失达到要求为止，完成迁移学习过程。完成迁移学习过程。完成迁移学习过程。

【技术实现步骤摘要】
Transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像可包含Nc个通道；
[0011]步骤2、将特征提取网络获取的不同尺度的特征矢量复原为不同尺度的特征图；
[0012]步骤3、将不同尺度的特征图输入到分割网络中，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络S是加入空间注意力机制的UNet解码网络；
[0013]步骤4、将不同尺度的特征图输入到域判别网络中，判断特征图是来自于源域还是目标域，并给出相应的标签，所述域判别网络D包括结合UNet跳跃链接方式的改进UNet编码网络，以及两级全连接层与输出层；
[0014]步骤5、将源域训练样本经过所述特征提取网络F、所述分割网络S得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征提取网络F、所述分割网络S得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练样本经过所述特征网络F、所述域判别网络D获得域标签结果计算域判别损失部分，将源域分割损失部分、目标域分割损失部分、域判别损失部分加权叠加为整体损失；
[0015]步骤6、通过最小化整体损失，迭代优化所述特征提取网络F、所述分割网络S、所述域判别网络D中的参数，直到整体损失达到要求为止，完成迁移学习过程。
[0016]根据本专利技术的另一方面，还提出一种基于迁移学习的图像分割方法，包括如下步骤：
[0017]步骤1、利用前述的迁移学习方法训练好的特征提取网络F与所述分割网络S组合成可分割出目标域所需分割对象的目标域分割网络；
[0018]步骤2、将目标域待分割图像输入所述特征提取网络F；
[0019]步骤3、将所述特征提取网络F获取的多尺度特征矢量复原为多尺度特征图；
[0020]步骤4、将多尺度特征图输入所述分割网络S，得到分割结果，剔除源域所需分割对象的分割结果，即可获得目标域分割对象的分割结果。
[0021]根据本专利技术的另一方面，还提出一种面向分割任务的融合Swin Transformer与UNet的迁移学习系统，包括：
[0022]输入模块，用于将待分割图像数据输入到特征提取网络，所述特征提取网络F是采用Swin Transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含Nc个通道；
[0023]复原模块，用于将特征提取网络获取的不同尺度的特征矢量复原为不同尺度的特征图；
[0024]对象分割模块，用于将不同尺度的特征图输入到分割网络S中，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络S是加入空间注意力机制的UNet解码网络；
[0025]域判断模块，用于将不同尺度的特征图输入到域判别网络中，判断特征图是来自于源域还是目标域，并给出相应的标签，所述域判别网络D包括结合UNet跳跃链接方式的改进UNet编码网络，以及两级全连接层与输出层；
[0026]整体损失计算模块，用于将源域训练样本经过所述特征提取网络F、所述分割网络S得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征提取网络F、所述分割网络S得到的目标域所需分割对象结果计算目标域分割损失部分，将
源域和目标域训练样本经过所述特征网络F、所述域判别网络D获得域标签结果计算域判别损失部分，将源域分割损失部分、目标域分割损失部分、域判别损失部分加权叠加为整体损失；
[0027]优化模块，用于通过最小化整体损失，迭代优化所述特征提取网络F、所述分割网络S、所述域判别网络D中的参数，直到整体损失达到要求为止，完成迁移学习过程。
[0028]根据本专利技术的另一方面，还提出一种基于迁移学习的图像分割系统，包括：
[0029]目标域分割网络组合构建模块，用于利用前述的迁移学习方法训练好的特征提取网络F与所述分割网络S组合成可分割出目标域所需分割对象的目标域分割网络；
[0030]输入模块，用于将目标域待分割图像输入所述特征提取网络F；所述特征提取网络F是采用Swin Transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含Nc个通道；
[0031]复原模块，用于将所述特征提取网络F获取的多尺度特征矢量复原为多尺度特征图；
[0032]对象分割模块，用于将多尺度特征图输入所述分割网络S，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络S是加入空间注意力机制的UNet解码网络得到分割结果；
[0033]剔除模块，用于剔除源域所需分割对象的分割结果，即可获得目标域分割对象的分割结果。
[0034]有益效果
[0035]1、本专利技术所提及的迁移学习方法，可处理源域和目标域图像采集对象存在明显差异，且源域和目标域需要分割的目标不同的情况，例如源域是由大量成人肠系膜标注CT数据构成，而目标域仅包含十几例儿童CT图像肝脏标注数据。本专利技术可以将源域数据知识迁移到任务差异更大的目标域中，改善和提高目标域的分割效果。
[0036]2、本专利技术为了保证不同尺度上源域与目标域都能提取的公共特征空间(域不变特征)，因此本专利技术的方法将不同尺度特征都作为了域判别网络输入，借鉴了UNet不同尺度特征处理方式设计了域判别网络结构。
[0037]3、本专利技术采用了梯度反转层和域鉴别网络部分对特征差异描述，利用最小化域鉴别器的分类损失实现公共特征空间的获取。
[0038]4、源域和目标域完全公用网络提取域不变特征，直到最后输出层才基于共有特征生成源域与目标域的各自的分割结果，因而源域和目标域分割的器官可不同。
[0039]5、分割网络采用Swin Transformer作为编码器，获取感受野更大的特征；添加空间注意力机制的解码部分，除了利用多尺度信息，可以抑制非感兴趣区域出现分割结果情况。
[0040]6、域判别网络将多尺度的特征作为输入，并采用了类似UNet编码器网络设计，增加了域判别网络的网络复杂度，使其更加灵敏。
[0041]7、本专利技术通过目标域数据扩增，使得每一轮次用于训练的源域和目标域样本相同，抑制样本不均衡造成的目标域分割效果改善有限的问题。
附图说明
[0042]图1A：本专利技术的一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法流程图；
[0043]图1B：本专利技术的一种基于迁移学习的图像分割方法流程图；
[0044]图2：本专利技术的系统的网络结构示意图；
[0045]图3：每个矢量标号与子块的对应关系图；
[0046]图4：Swin Transformer模块的组成；
[0047]图5：池化与位置关系示意图；
[0048]图6：子块融合操作示意图；
[0049]图7：子块恢复操作；
[0050]图8：第一尺度复原特征过程示意图；
[0051]图9：空间注意力模块示意本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法，其特征在于，包括如下步骤：步骤1、将待分割图像数据输入到特征提取网络F，所述特征提取网络F是采用Swin Transformer的多尺度多窗口的注意力机制作为骨干网络，提取不同尺度的特征矢量，输入的待分割图像包含Nc个通道；步骤2、将所述特征提取网络F获取的不同尺度的特征矢量复原为不同尺度的特征图；步骤3、将不同尺度的特征图输入到分割网络S中，获得源域与目标域两个域的所需分割对象的分割结果，所述分割网络S是加入空间注意力机制的UNet解码网络；步骤4、将不同尺度的特征图输入到域判别网络D中，判断特征图来自于源域还是目标域，并给出相应的标签，所述域判别网络D包括结合UNet跳跃链接方式的改进UNet编码网络，以及两级全连接层与输出层；步骤5、将源域训练样本经过所述特征提取网络F、所述分割网络S得到的源域所需分割对象结果计算源域分割损失部分，将目标域训练样本经过所述特征提取网络F、所述分割网络S得到的目标域所需分割对象结果计算目标域分割损失部分，将源域和目标域训练样本经过所述特征提取网络F、所述域判别网络D获得域标签结果计算域判别损失部分，将源域分割损失部分、目标域分割损失部分、域判别损失部分加权叠加为整体损失；步骤6、通过最小化整体损失，迭代优化所述特征提取网络F、所述分割网络S、所述域判别网络D中的参数，直到整体损失达到要求为止，完成迁移学习过程。2.根据权利要求1所述的一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法，其特征在于，所述特征提取网络F是采用Swin Transformer的多尺度多窗口的注意力机制作为骨干网络，所述特征提取网络F采用子块融合方式是将需要融合子块的特征矢量的最大池化结果与平均池化结果链接而成。3.根据权利要求1所述的一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法，其特征在于，所述步骤1进一步包括：步骤1.1、所述特征提取网络F首先利用划分子块模块，将输入的每一张尺寸为H
×
W的输入图像划分成Np
×
Np大小的子块，Np为子块的宽度，每个子块数据各自展开成一维矢量，一维矢量尺寸为16N＝Np
×
Np
×
Nc；Nc表示输入图像的通道数，共计生成个矢量，Ns为不同尺度的数目，H、W为图像的像素高度和像素宽度；步骤1.2、经过线性嵌入模块利用共享的线性变换矩阵W
c
×
16N
与子块划分的矢量相乘，将所有矢量变换成长度为C的一组新的矢量，所述特征提取网络F利用Swin Transformer模块在Ns个不同尺度上进行特征提取，每一个尺度上采用2个连续的Swin Transformer模块计算，Swin Transformer输入是一组矢量，输出也是一组矢量；首先在层内做矢量归一化处理，在每一个矢量利用该矢量所在位置所处标准窗口内进行多头自注意力模块处理，处理结果与输入结果相加；接着进入第二个Swin Transformer模块，第二个Swin Transformer模块是循环移动窗口内的多头自注意力模块，其他部分与第一个Swin Transformer模块相同。4.根据权利要求3所述的一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法，其特征在于，所述步骤1.2进一步包括：
一个尺度的Swin Transformer生成的一组矢量经过子块融合将临近的2
×
2空间范围内的4个矢量合并成一个新的矢量，合并过程计算这四个矢量的最大池化和平均池化结果，并将这两个池化结果连接在一起生成长度为原来输入矢量2倍的新矢量，同时输出矢量的个数减少为输入矢量个数的四分之一。5.根据权利要求1所述的一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法，其特征在于，所述分割网络S采用了结合空间注意力机制的UNet解码网络，其中空间注意力机制是利用输入特征图X的各个通道之间的最大池化、最小池化以及1*1卷积结果叠加后，再经过1*1卷积、批归一化、Sigmoid激活后获得空间权重，将此权重作用于输入的特征图的各通道，使得获取的特征结果更加突出与需要分割对象相关的空间位置上的信息，抑制与需要分割对象不相关的空间位置上的信息。6.根据权利要求1所述的一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法，其特征在于，所述域判别网络D将不同尺度的特征图作为输入，其结构包括基于UNet跳跃链接的改进UNet编码网络，两级全连接层和输出层。7.根据权利要求1所述的一种面向分割任务的融合Swin Transformer与UNet的迁移学习方法，其特征在于，所述步骤1中，输入的图像数据划分为四种类型，分别是：源域有标注数据其中下标L表示有标记，下标S表示源域，上标i表示第i个样本，取从1到N
SL
之间的整数，表示源域有标记的第i个待分割图像，表示源域有标记第i个待分割图像对应的需要分割对象的分割标记，能够用来表示一个分割对象的分割标记，或表示多个分割对象的分割标记；源域未标注数据其中下标U表示无标记，表示第i个源域无标记的待分割图像；目标域有标注数据下标T表示目标域，表示目标域有标记的第i个待分割图像，表示目标域有标记第i个待分割图像对应的需要分割对象的分割标记，能够用原来表示一个分割对象的分割标记，或表示多个分割对象的分割标记；目标域未标注数据其中表示第i个目标域无标记的待分割图像；每一批次输入的图像数据中均需要包含等数量的源域已标注数据和目标域已标注数据，如果目标域数据量小于源域，需要通过扩增处理将目标域数据样本扩增到与源域目标数据样本数量相同；每一批次中输入的源域、目标域的未标注数据的数目不做要求。8.根据权利要求7所述的一种面向分割任...

【专利技术属性】
技术研发人员：王少彬，白璐，陈颀，陈宇，
申请(专利权)人：苏州医智影科技有限公司，
类型：发明
国别省市：