一种应用多注意力机制的医学图像分割方法及系统技术方案

本发明专利技术公开了一种应用多注意力机制的医学图像分割方法，包括以下步骤：S1、构建网络结构，所述网络结构包括编码器模块、解码器模块，所述编码器模块包括两个独立的编码器，在两个编码器之间设置有CMFL；S2、将两种互补模态的医学图像分别输入至两个编码器中，由CMFL获取两种模态之间的跨模态图像特征位置响应权重信息，进行跨模态之间的图像特征互补，获得两种跨模态图像互补特征；S3、将两种跨模态图像互补特征进行特征融合再通过解码器模块解码即可。还公开了一种医学图像分割系统。本发明专利技术在两个独立编码器中引入注意力机制，建立了不同模态图像特征的联系，提升了图像分割能力。提升了图像分割能力。提升了图像分割能力。

【技术实现步骤摘要】
一种应用多注意力机制的医学图像分割方法及系统


[0001]本专利技术涉及医学影像处理
，具体涉及一种应用多注意力机制的医学图像分割方法及系统。

技术介绍

[0002]图像分割在许多医学图像分析中起着至关重要的作用。它可以去除源图像中不相关的器官和组织，并标记感兴趣的区域，例如特定器官、病变和肿瘤区域。同时，分割后的图像可以为医生提供例如肿瘤或病变的位置、大小和形状，以及器官的解剖和代谢状态等关键信息。在最近的工作中，多模态医学图像分割得到了广泛的研究。例如，使用 MRI 进行脑肿瘤分割和前列腺分割、使用 PET 和 CT 进行肝脏分割和头颈部肿瘤分割、使用 CT 和 MR 图像进行腹部多器官分割 (CHAOS) 等。
[0003]现有的多模态医学图像分割工作得到很迅猛的发展，有单注意力多模态的图像分割、也有双注意力机制的图像分割。但是它们大多数实际上都只基于一个模态图像做分割，使得图像分割能力还有上升的空间。

技术实现思路

[0004]为解决上述问题，本专利技术目的在于提供一种应用多注意力机制的医学图像分割方法，该医学图像分割方法选择在两个独立编码器中引入注意力机制，通过对不同模态图像之间跨模态图像特征互补信息的提取，建立了不同模态图像特征的联系，提升了图像分割能力，分割得到的图像更接近真实图像。还公开了一种应用多注意力机制的医学图像分割系统。
[0005]本专利技术通过下述技术方案实现：一种应用多注意力机制的医学图像分割方法，包括以下步骤S1、构建网络结构，所述网络结构包括编码器模块、解码器模块，所述编码器模块包括两个独立的编码器，在两个编码器之间设置有跨模态互补特征学习注意力模块CMFL；S2、将两种互补模态的医学图像分别输入至两个编码器中，由跨模态互补特征学习注意力模块CMFL获取两种模态之间的跨模态图像特征位置响应权重信息，进行跨模态之间的图像特征互补，获得两种跨模态图像互补特征；S3、将两种跨模态图像互补特征进行特征融合再通过解码器模块解码即可。
[0006]跨模态互补特征学习注意力模块CMFL通过计算一个模态的当前位置对另一个模态全局位置的响应权重来获得两种模态互补的重要信息，实现每个编码器提取的单个模态的深度图像特征与另一个模态的深度图像特征相补充。
[0007]跨模态互补特征学习注意力模块CMFL可以用以下公式表示：（1）
（2）（3）（4）（5）（6）其中 N 是所有样本的集合，用于标准化的函数，公式（1）的和公式（2）中的分别为第一种模态和第二种模态的标准化函数，即将、分别代入公式（5）可得和，、分别是第一种模态的输入特征图和第二种模态的输入特征图，代表当前位置响应，代表全局响应，是计算得到的与第一模态输入特征大小相同的跨模态特征的输出， 是计算得到的与第二模态输入特征大小相同的跨模态特征的输出， 函数是计算一种模态下当前位置响应 和全局响应 之间的相似度，为在第一种模态下使用第一种模态的局部响应来计算与第二种模态的全局响应的相似度，函数为在第二种模态下使用第二种模态的局部响应来计算与第一种模态的全局响应的相似度； 函数计算一种模态下输入特征图在 位置的特性表示，是指第一种模态下输入特征图在 位置的特性表示，是指第二种模态下输入特征图在位置的特性表示，和，是一个可学习的权重矩阵，在实现上可通过1
×
1的卷积进行学习，x
i
代表的是当前关注位置的信息，x
j
代表的是全局信息，通过两者的相乘将信息变为可学习的，和的物理意义分别为模态学习的全局特征和局部特征。和分别代表第一种模态学习的全局特征和第二种模态学习的全局特征，和 分别代表第一种模态学习的局部特征和第二种模态学习的局部特征， 代表第一种模态的输入特征的当前关注位置信息，代表第一种模态的输入特征的全局信息，代表第二种模态的输入特征的当前关注位置信息，代表第二种模态的输入特征的全局信息。
[0008]进一步的，S3特征融合过程中，还包括多尺度双重注意力模块即MSDA模块，所述
MSDA模块包括位置注意力模块即PAM模块和通道注意力模块即CAM模块，具体过程：将两种跨模态互补特征图像经不同大小卷积核提取多尺度特征后，在通道维度拼接获得拼接特征图像，然后采用并行方式用PAM模块和CAM分别捕获位置特征依赖关系和通道特征依赖关系，最后将PAM和CAM两个模块的输出进行融合。提取和融合多模态医学图像中的互补信息仍然是一项具有挑战性的任务。本专利技术的这条实施方式是将CMFL和MSDA模块结合在一起，基于编码器
‑
解码器和跳跃连接架构的多重注意力深度融合网络，用于多模态图像分割，不同于现有的多模态医学图像分割工作只对某个位置进行多模态特征融合，本专利技术在编码器和跳过连接部分进行两次多模态特征融合，在两个独立编码器之间引入注意力机制对不同模态图像特征进行跨模态互补，且在解码前引入双重注意力机制，更加充分提取和利用跨模态的互补信息，更精确的提取和融合多模态图像中最相关的特征，使得图像分割能力进一步得到提升。在此实施方式所反应的是本专利技术中CMFL和MSDA模块在提升图像分割能力上的协同作用。
[0009]S3中的解码过程使用的解码器为残差解码器，残差解码器从最深的 MSDA 模块的输出开始，在使用转置卷积进行上采样之前进行两次卷积，之后的每一次上采样都采用同样的方式，将上采样后的图像特征与对应层级的MSDA模块得到的图像特征经跳跃连接进行拼接，拼接后利用残差块融合高低层图像特征，获得分割的最终特征图像。
[0010]以ResNet50作为编码器的特征提取骨架。
[0011]如前所述的医学图像分割方法的图像分割系统，包括网络架构，所述网络架构包括编码器模块、解码器模块、融合模块，所述编码器模块包括两个独立的编码器，在两个编码器之间设置有跨模态互补特征学习注意力模块CMFL；两个独立的编码器用于接收互补的两个模态图像，通过CMFL模块获取跨模态之间的图像特征位置响应权重信息，进行跨模态之间的图像特征互补，获得两种跨模态图像互补特征；融合模块用于将两种跨模态图像互补特征融合后输送至解码器模块解码。
[0012]融合模块包括多尺度双重注意力模块即MSDA模块，所述MSDA模块包括位置注意力模块即PAM模块和通道注意力模块即CAM模块；所述MSDA模块用于将两种跨模态互补特征图像经不同大小卷积核提取多尺度特征后，在通道维度拼接获得拼接特征图像，然后采用并行方式用PAM模块和CAM分别捕获位置特征依赖关系和通道特征依赖关系，最后将PAM和CAM两个模块的输出进行融合。
[0013]本专利技术与现有技术相比，具有如下的优点和有益效果：本专利技术中两个编码器不是完全独立的，而是通过CMFL注意力模块连接起来的，通过该模块，每个编码器提取的单个模态的深度图像特征可以与另一个模态的特征相补充，本专利技术这种双路径编码器不仅保留了它们自己模态的特定特征，而且还从跨模态中学习互补特征，提升了图像整体分割能力。
附图说明
[0014]此处所说明的附本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应用多注意力机制的医学图像分割系统，其特征在于，包括网络架构，所述网络架构包括编码器模块、解码器模块、融合模块，所述编码器模块包括两个独立的编码器，在两个编码器之间设置有跨模态互补特征学习注意力模块CMFL；两个独立的编码器用于接收互补的两个模态图像，通过CMFL模块获取跨模态之间的图像特征位置响应权重信息，进行跨模态之间的图像特征互补，获得两种跨模态图像互补特征；融合模块用于将两种跨模态图像互补特征融合后输送至解码器模块解码。2.根据权利要求1所述的医学图像分割系统，其特征在于，融合模块包括尺度双重注意力模块即MSDA模块，所述MSDA模块包括位置注意力模块即PAM模块和通道注意力模块即CAM模块；所述MSDA模块用于将两种跨模态互补特征图像经不同大小卷积核提取多尺度特征后，在通道维度拼接获得拼接特征图像，然后采用并行方式用PAM模块和CAM模块分别捕获位置特征依赖关系和通道特征依赖关系，最后将PAM和CAM两个模块的输出进行融合。3.基于权利要求1或2所述的医学图像分割系统的医学图像分割方法，其特征在于，包括以下步骤：S1、构建网络结构，所述网络结构包括编码器模块、解码器模块，所述编码器模块包括两个独立的编码器，在两个编码器之间设置有跨模态互补特征学习注意力模块CMFL；S2、将两种互补模态的医学图像分别输入至两个编码器中，由跨模态互补特征学习注意力模块CMFL获取两种模态之间的跨模态图像特征位置响应权重信息，进行跨模态之间的图像特征互补，获得两种跨模态图像互补特征；S3、将两种跨模态图像互补特征进行特征融合再通过解码器模块解码即可。4.根据权利要求3所述的医学图像分割方法，其特征在于，跨模态互补特征学习注意力模块CMFL通过计算一个模态的当前位置对另一个模态全局位置的响应权重来获得两种模态互补的重要信息，实现每个编码器提取的单个模态的深度图像特征与另一个模态的深度图像特征相补充。5.根据权利要求4所述的医学图像分割方法，其特征在于，跨模态互补特征学习注意力模块CMFL可以用以下公式表示：（1）（2）（3）（4）（5）
（6）其中 N 是所有样本的集合，用于标准化的函数，公式（1）的和公式（2）中的分别为第一种模态和第二种模态的标准化函数，即将、分别代入公式（...

【专利技术属性】
技术研发人员：李腊全，叶鑫，文婷，刘畅，熊平，苏强，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：