基于自监督学习的多模态脑肿瘤影像分割方法技术

本发明专利技术公开了一种基于自监督学习的多模态脑肿瘤影像分割方法，包括获取多模态MRI图像集，MRI图像集包含多张脑肿瘤的病例图像，每张病例图像对应一分割标签，且包括四种模态影像；搭建自监督学习的多模态脑肿瘤影像分割网络，包括特征提取单元、全局特征建模单元、解码单元，全局特征建模单元采用跨像素Transformer模型，训练时，先预训练全局特征建模单元再训练整体的自监督学习的多模态脑肿瘤影像分割网络，最后用训练好的模型对肿瘤图像进行分割。本发明专利技术可以充分捕捉医疗影像中的局部特征和全局特征，且计算量仅为原始结构的1/4，准确率高。准确率高。准确率高。

【技术实现步骤摘要】
基于自监督学习的多模态脑肿瘤影像分割方法


[0001]本专利技术涉及一种影像分割方法，尤其涉及一种基于自监督学习的多模态脑肿瘤影像分割方法。

技术介绍

[0002]在脑肿瘤检测中，多采用核磁共振成像得到MRI图像，该图像包括四种模态影像，分别为Flair模态影像、T1模态影像、T1ce模态影像、T2模态影像。临床上医生通常结合四种不同模态图像来进行诊断。人工人分割图像中的肿瘤，存在很大的主观性，不同医生分割的结果可能不同，为了避免上述问题，现在出现了一些自动的脑肿瘤影像分割方法。
[0003]目前对脑肿瘤影像分割方法主要有以下几种方法：1、基于U
‑
Net的脑肿瘤影像分割方法，参见图1，U
‑
Net分割模型采用对称编码器解码器结构，并且采用U型结构提取特征，通过跳跃连接融合高级语义信息和低级语义信息，实现医学影像分割。
[0004]2、基于Transformer的特征提取模型，参见图2，Transformer采用全局注意力的方式代替卷积神经网络达到了更好的性能，Transformer采用查询向本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督学习的多模态脑肿瘤影像分割方法，其特征在于：包括以下步骤；（1）获取多模态MRI图像集，包含多张脑肿瘤的病例图像，每张病例图像对应一分割标签，且包括四种模态影像，分别为Flair、T1、T1ce、T2；（2）搭建自监督学习的多模态脑肿瘤影像分割网络；所述自监督学习的多模态脑肿瘤影像分割网络包括特征提取单元、全局特征建模单元、解码单元；所述特征提取单元包括四个多尺度特征提取模块和一特征融合模块；病例图像的四种模态影像分别经四个多尺度特征提取模块进行特征提取，得到四个与模态影像对应的多尺度特征图，再经特征融合模块融合得到融合特征图；所述U
‑
net卷积神经网络包括全局特征建模单元和解码单元；所述全局特征建模单元包括从上到下依次连接的四个跨像素Transformer模型，且最上方的跨像素Transformer模型输入与特征融合模块的输出相连；所述跨像素Transformer模型包括特征图采样单元、Transformer模型、特征图合并单元和卷积层，其中，所述特征图采样单元用于对输入的特征图进行等间隔取样，得到四个子特征图，所述Transformer模型采用全局注意力建机制分别对四个子特征图进行特征提取，得到四个子全局注意力特征图，所述特征图合并单元用于将四个子全局注意力特征图合并，得到跨像素特征图，所述跨像素特征图尺寸与特征图采样单元输入的特征图尺寸相同，所述卷积层用于对跨像素特征图下采样，输出全局特征图；则四个跨像素Transformer模型从上到下依次输出第一全局特征图到第四全局特征图；所述全局特征建模单元与解码单元构成一U
‑
net卷积神经网络，并由第一全局特征图到第四全局特征图作为U
‑
net卷积神经网络编码部分的四个输出；（3）训练自监督学习的多模态脑肿瘤影像分割网络；（31）预训练全局特征建模单元；以将多模态MRI图像集中的单个模态影像作为输入，单个模态影像的模态类别作为输出，训练全局特征建模单元，得到训练好的全局特征建模模型；（32）将多模态MRI图像集中的病例图像依次送入自监督学习的多模态脑肿瘤影像分割网络，以其分割...

【专利技术属性】
技术研发人员：邓建华，吴春江，周锦霆，刘裕，祝睿，刘埙乐，
申请(专利权)人：上海成电福智科技有限公司，
类型：发明
国别省市：