一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法技术

本发明专利技术公开了一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法。将待语义分割的多模态MRI脑肿瘤图像输入到经过训练的语义分割模型中，获得语义分割结果。通过模态嵌入变压器模块，将数据按模态划分并扩展至数倍，为模型训练做好数据准备，并为每个模态分配唯一编码，与图像信息拼接后同时训练，辅助单模态私有特征的提取；由模态交叉注意力特征融合模块计算每个单模态私有特征和模态间共享特征的相关性。本发明专利技术不但利用单个自定义的变压器块完成对不同模态MRI图像特征的提取，还解决了多种特征融合不完全的问题；本发明专利技术为充分发挥多模态数据优势提供了一种新的方案，提高了多模态MRI脑肿瘤图像分割的性能。

【技术实现步骤摘要】

本专利技术应用深度学习和计算机视觉领域相关方面技术，具体专利技术和应用一种基于模态交叉注意力的多模态mri脑肿瘤图像分割方法。

技术介绍

1、语义分割旨在预测图像中每个像素的语义类别，是医疗图像分析中基础且极具挑战性的任务之一。脑肿瘤图像分割通过为病变区域提供语义和定位信息，已成为脑肿瘤和神经疾病临床诊断的重要选择。与传统图像相比，磁共振成像(magnetic resonanceimaging,mri)获取的图像基于各种电磁波产生的成像序列，提供不同模态，共享相同的目标空间范围，但各自的信息表达重点不同。例如，flair序列显示病灶周围信息，而t2序列显示病变区域的内部情况。

2、作为mri图像分割中最具代表性的神经网络架构，u-net采用了对称的编码器-解码器设计，并采用跳跃连接来提高细节保留。之后，基于自注意机制的transformer被引入u-net，构成双分支编码器。transformer出色的远程依赖关系建模能力很大程度上弥补了卷积神经网络(convolutional neural network,cnn)仅捕获局部上下文信息的局限。本文档来自技高网...

【技术保护点】

1.一种基于模态交叉注意力的多模态MRI脑肿瘤图像分割方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述线性变换均采用卷积核大小为1×1的一个标准卷积层。

3.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述变压器模块由L个变压器块依次级联而成；在每个变压器块中，输入的第一特征向量依次经过层归一化、多头注意力机制模块、残差连接模块、层归一化、线性分类器模块和残差连接模块，输出第二特征向量。

4.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方...

【技术特征摘要】

1.一种基于模态交叉注意力的多模态mri脑肿瘤图像分割方法，其特征在于，包括如下步骤：

2.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述线性变换均采用卷积核大小为1×1的一个标准卷积层。

3.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述变压器模块由l个变压器块依次级联而成；在每个变压器块中，输入的第一特征向量依次经过层归一化、多头注意力机制模块、残差连接模块、层归一化、线性分类器模块和残差连接模块，输出第二特征向量。

4.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述卷积模块采用u-net网络，所述卷积模块深度为6层，且随机生成初始参数；所述卷积模块将通道数扩张为320。

5.如权利要求1所述的基于模态交叉注意力的多模态脑肿瘤图像分割方法，其特征在于，所述解码器模块采用u-net网络，所述解码器模块的深度为6层，且随机生成初始参数。

6.如权利要求1所述的基于模态...

【专利技术属性】
技术研发人员：冯天，竺致远，沈骏翱，王嘉恒，张微，
申请(专利权)人：浙江大学，
类型：发明
国别省市：