一种基于卷积Transformer的多模态医学图像分割方法技术

本发明专利技术公开了一种基于卷积Transformer的多模态医学图像分割方法，属于医学图像分割技术领域。本发明专利技术通过使用多模态数据，使得医学图像可以得到充分利用；通过使用卷积Transformer模块，与传统基于自注意力机制的Transformer模块相比，卷积Transformer模块获得神经网络在获取全局特征的同时，减少了运算量；使用特征金字塔后融合方式，使得最后的分割结果保留卷积的高层次的语义信息的同时包含低层次的细节信息；通过Dice Loss和Focal Loss共同约束模型迭代方向，解决Dice Loss再反向传播存在不利的影响，使得训练更加稳定。使得训练更加稳定。使得训练更加稳定。

【技术实现步骤摘要】
一种基于卷积Transformer的多模态医学图像分割方法


[0001]本专利技术涉及医学图像分割
，具体涉及一种基于卷积Transformer的多模态医学图像分割方法。

技术介绍

[0002]医学图像在医生了解患者病因中起着重要的作用，伴随着科学技术的发展，医学图像数量呈指数级增长，由于不同模态的医学图像对于患者的诊断往往起着互补的作用，所以如何有效的利用多模态医学图像是一个重要的问题。
[0003]伴随着机器学习和深度学习的发展，计算机辅助诊断在临床医学起着至关重要的作用。通过对医学图形进行分割帮助医生进行辅助诊断也是计算机视觉中常见的任务；通过卷积神经网络提取特征是常用的方法；但是这种卷积只能对局部特征进行提取，感受野十分有限，即使通过不同程度的下采样或者空洞卷积其效果提升并不是特别明显。
[0004]Transformer(提高模型精度的方法)的出现解决了卷积感受野的局限，Transformer通过多头自注意力机制来获取全局信息，将图像张量展平计算其中的权值矩阵建立全局的依赖关系通过对于全局的依赖关系进行特征的提取。但是Transformer使得参数计算量十分庞大，对于越大的医学图像往往需要更多的计算资源，这使得在Transformer在医学图形分割中的发展受到了限制，上述问题亟待解决，为此，提出一种基于卷积Transformer的多模态医学图像分割方法。

技术实现思路

[0005]本专利技术所要解决的技术问题在于：如何在不影响精度的前提下提出能有效降低Transformer运算量的多模态医学图像分割模型，提供了一种基于卷积Transformer的多模态医学图像分割方法，使用双路并行的Dense卷积与Transformer相结合，通过使用卷积自注意力机制代替多头自注意力机制，使得参数运算大大减少，并且通过构建金字塔的特征融合方法，使得卷积的高层次的语义信息和低层次的细节信息相融合，实现了高精度的医学图像分割，进而为医疗诊断提供更为精准的图像依据。
[0006]本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括以下步骤：
[0007]S1：数据集划分
[0008]获取多模态医学图像数据集，随机划分训练集和测试集；
[0009]S2：图像预处理
[0010]读取到数据集中的原始图像后，对原始图像进行预处理；
[0011]S3：构建模型
[0012]构建基于卷积Transformer的多模态医学图像分割模型；
[0013]S4：模型训练
[0014]使用组合损失函数计算模型损失，对步骤S3中构建的模型进行训练，获取最优模型；
[0015]S5：图像分割
[0016]将待分割图像输入步骤S4得到的最优模型中，输出分割结果。
[0017]更进一步地，所述步骤S2包括以下处理过程：
[0018]S21：读取到原始图像后，将原始图像进行正则化；
[0019]S22：再通过中心裁剪的方式，对图像背景进行裁剪。
[0020]更进一步地，在所述步骤S3中，基于卷积Transformer的多模态医学图像分割模型采用U
‑
Net网络的编码器
‑
解码器对称结构，包括编码器、解码器、特征融合模块，其中，编码器、解码器均为五层，每一层均为一个Double Block模块，编码器、解码器的对应层之间跳跃连接，融合模块与解码器中各个Double Block模块分别连接，特征融合模块使用特征金字塔的特征后融合方式。
[0021]更进一步地，所述Double Block模块采用双路并行结构，包括稠密卷积模块、ConvTF Block模块，稠密卷积模块和ConvTF Block模块在分别获取进入Double Block模块的张量后，分别进行卷积操作和获取注意力机制权重操作，最后ConvTF Block模块与稠密卷积模块的张量进行拼接再通过一个1
×
1的卷积进行通道数还原。
[0022]更进一步地，所述稠密卷积模块的处理过程如下：
[0023]X0＝Conv
kernel＝3
×3，
padding＝1
(input)
[0024]X
i
＝Conv
kernel＝3
×3，
padding＝1
(Concat(X0,X1…
X
i
‑1))
[0025]其中，input为进入稠密卷积模块的张量，X0,X1…
X
i
为通过每个卷积操作的输出结果，Conv为卷积操作，kernel为卷积核大小，padding为卷积填充长度，Concat表示进行张量拼接操作。
[0026]更进一步地，所述ConvTF Block模块使用5
×
5、11
×
11、21
×
21的不同卷积核大小的卷积操作替换自注意力机制中获取全局权值的操作,具体操作过程如下：
[0027]Q＝Conv
kernel＝5
×5(Conv
kernel＝1
×1(input))
[0028]K＝Conv
kernel＝11
×
11
(Conv
kernel＝1
×1(input))
[0029]V＝Conv
kernel＝21
×
21
(Conv
kernel＝1
×1(input))
[0030]Attention＝Softmax(Q
×
K)
1/2
×
V
[0031]其中，input为进入ConvTF Block模块的张量，Conv为卷积操作，kernel为卷积核大小，padding为卷积填充长度，Concat表示进行张量拼接操作，Q、K、V分别为查询向量、索引向量、内容向量，Softmax为激活函数。
[0032]更进一步地，解码器中每一层均获得一个特征图，特征融合模块先将每一层特征图全部进行上采样到最终输出分割结果尺寸一样，再进行张量拼接，得到一个特征金字塔的形状通过一个1
×
1的卷积核进行张量还原，最终获得输出分割结果：
[0033]F＝Conv
kernel＝1
×1(Concat(F0,F1…
F5))
[0034]其中，F为最终分割结果，F0…
F5为解码器每一层获得的特征图，Concat表示张量拼接操作，Conv为卷积操作，kernel为卷积核大小。
[0035]更进一步地，在所述步骤S4中，损失函数部分使用Dice Loss与Focal Loss的组合损失来约束模型迭代方向，具体实现过程如下：
[0036][0037][0038][0039][0040]其中，FP
P...

【技术保护点】

【技术特征摘要】
1.一种基于卷积Transformer的多模态医学图像分割方法，其特征在于，包括以下步骤：S1：数据集划分获取多模态医学图像数据集，随机划分训练集和测试集；S2：图像预处理读取到数据集中的原始图像后，对原始图像进行预处理；S3：构建模型构建基于卷积Transformer的多模态医学图像分割模型；S4：模型训练使用组合损失函数计算模型损失，对步骤S3中构建的模型进行训练，获取最优模型；S5：图像分割将待分割图像输入步骤S4得到的最优模型中，输出分割结果。2.根据权利要求1所述的一种基于卷积Transformer的多模态医学图像分割方法，其特征在于：所述步骤S2包括以下处理过程：S21：读取到原始图像后，将原始图像进行正则化；S22：再通过中心裁剪的方式，对图像背景进行裁剪。3.根据权利要求1所述的一种基于卷积Transformer的多模态医学图像分割方法，其特征在于：在所述步骤S3中，基于卷积Transformer的多模态医学图像分割模型采用U
‑
Net网络的编码器
‑
解码器对称结构，包括编码器、解码器、特征融合模块，其中，编码器、解码器均为五层，每一层均为一个Double Block模块，编码器、解码器的对应层之间跳跃连接，融合模块与解码器中各个Double Block模块分别连接，特征融合模块使用特征金字塔的特征后融合方式。4.根据权利要求3所述的一种基于卷积Transformer的多模态医学图像分割方法，其特征在于：所述Double Block模块采用双路并行结构，包括稠密卷积模块、ConvTF Block模块，稠密卷积模块和ConvTF Block模块在分别获取进入Double Block模块的张量后，分别进行卷积操作和获取注意力机制权重操作，最后ConvTF Block模块与稠密卷积模块的张量进行拼接再通过一个1
×
1的卷积进行通道数还原。5.根据权利要求4所述的一种基于卷积Transformer的多模态医学图像分割方法，其特征在于：所述稠密卷积模块的处理过程如下：X0＝Conv
kernel＝3
×3，
padding＝1
(input)X
i
＝Conv
kernel＝3
×3，
padding＝1
(Concat(X0,X1…
X
i
‑1))其中，input为进入稠密卷积模块的张量，X0,X1…
X
i
为通过每个卷积操作的输出结果，Conv为卷积操作，kernel为卷积核大小，padding为卷积填充长度，Concat表示进行张量拼接操作。6.根据权利要求5所述的一种基于卷积Transformer的多模态医学图像分割方法，其特征在于：所述ConvTF Bl...

【专利技术属性】
技术研发人员：方贤进，李想，杨高明，华楷文，张海永，赵婉婉，程颖，薛明均，
申请(专利权)人：安徽理工大学，
类型：发明
国别省市：