基于多模态特征融合的多任务MRI脑瘤图像分割方法技术

本发明专利技术公开了一种基于多模态特征融合的多任务MRI脑瘤图像分割方法，包括获取第一多模态3D MRI图像集；对第一多模态3D MRI图像进行标准化处理得到第二多模态3D MRI图像；将第二T1图像、第二T1c图像、第二T2图像和第二Flair图像输入至训练完成的脑瘤分割网络模型，得到第一ET区域分割图、第一TC区域分割图和第一WT区域分割图；得到第二ET区域分割图、第二TC区域分割图和第二WT区域分割图；将第二ET区域分割图、第二TC区域分割图和第二WT区域分割图结合成为最终的3D多类别脑瘤分割图。本发明专利技术根据三个脑瘤区域间的相互联系设计了级联的多任务分割网络结构，根据分析得到的不同模态MRI图像在分割不同的肿瘤区域时的重要性不同。

【技术实现步骤摘要】
基于多模态特征融合的多任务MRI脑瘤图像分割方法
本专利技术属于医学图像处理
，具体涉及一种基于多模态特征融合的多任务MRI脑瘤图像分割方法。
技术介绍
MRI(MagneticResonanceImaging，磁共振成像)脑瘤图像分割，旨在从多模态MRI图像数据中分割出各个不同的肿瘤区域(整体脑瘤区域WT、脑瘤核区域TC和强化脑瘤核区域ET)。该任务可得到患者的重要的临床信息和病理特征，进而能够为患者的临床治疗及制定后续的康复计划提供重要的参考信息。早期MRI脑瘤图像分割依靠经验丰富的医生人工地判断MRI图像中的肿瘤区域。为了实现分割工作由人工向计算机的转变，多种在自然图像上较为成熟的分割算法被应用在MRI脑瘤图像分割任务中，如基于图像像素值分析的分割方法和基于水平集和活动轮廓模型的分割方法。这些方法虽能够实现MRI脑瘤图像的自动化分割，但效果不尽如人意。近年来飞速发展的深度学习算法在图像处理领域获得了巨大的成功，并广泛应用于MRI脑瘤图像分割中，取得了显著的效果。目前基于深度学习的MRI脑瘤图像分割方法可以分成基于2D卷积神经本文档来自技高网...

【技术保护点】
1.一种基于多模态特征融合的多任务MRI脑瘤图像分割方法，其特征在于，包括：/n获取第一多模态3D MRI图像集，其中，所述第一多模态3D MRI图像集包括若干第一多模态3D MRI图像，所述第一多模态3D MRI图像包括第一T1图像、第一T1c图像、第一T2图像和第一Flair图像；/n对所述第一多模态3D MRI图像进行标准化处理得到第二多模态3D MRI图像，所述第二多模态3D MRI图像包括第二T1图像、第二T1c图像、第二T2图像和第二Flair图像；/n将所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像输入至训练完成的脑瘤分割网络模型，得到第一ET区域...

【技术特征摘要】
1.一种基于多模态特征融合的多任务MRI脑瘤图像分割方法，其特征在于，包括：
获取第一多模态3DMRI图像集，其中，所述第一多模态3DMRI图像集包括若干第一多模态3DMRI图像，所述第一多模态3DMRI图像包括第一T1图像、第一T1c图像、第一T2图像和第一Flair图像；
对所述第一多模态3DMRI图像进行标准化处理得到第二多模态3DMRI图像，所述第二多模态3DMRI图像包括第二T1图像、第二T1c图像、第二T2图像和第二Flair图像；
将所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像输入至训练完成的脑瘤分割网络模型，得到第一ET区域分割图、第一TC区域分割图和第一WT区域分割图，所述脑瘤分割网络模型包括第一分割子网络、第二分割子网络和第三分割子网络，且在所述第一分割子网络、所述第二分割子网络和所述第三分割子网络之前分别设置了一多模态特征感知模块；
采用去除小连通域方法对所述第一ET区域分割图、所述第一TC区域分割图和所述第一WT区域分割图进行后处理，并去除所述第一ET区域分割图的噪声区域，对应得到第二ET区域分割图、第二TC区域分割图和第二WT区域分割图；
将所述第二ET区域分割图、所述第二TC区域分割图和所述第二WT区域分割图结合成为最终的3D多类别脑瘤分割图。


2.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，对所述第一多模态3DMRI图像进行标准化处理得到第二多模态3DMRI图像，包括：
分别求取所述第一T1图像、所述第一T1c图像、所述第一T2图像和所述第一Flair图像的像素均值和方差；
基于所述像素均值和所述方差，根据标准化计算公式分别对所述第一T1图像、所述第一T1c图像、所述第一T2图像和所述第一Flair图像进行处理，对应得到所述第二T1图像、所述第二T1c图像、所述第二T2图像和所述第二Flair图像。


3.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，所述第一分割子网络包括：一个3×3×3的第一卷积模块，三个第一残差模块和一个1×1×1的第二卷积模块，其中，所述第一卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，所述第一残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为2的卷积层，且每个卷积层前级联一个批规范化层和一个ReLu激活函数层，所述第二卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。


4.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，所述第二分割子网络包括：一个3×3×3的第三卷积模块，三个第二残差模块和一个1×1×1的第四卷积模块，其中，所述第三卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，所述第二残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为4的卷积层，且每个卷积层前级联一个批规范化层和一个ReLu激活函数层，所述第四卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。


5.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，所述第三分割子网络包括：一个3×3×3的第五卷积模块，三个第三残差模块和一个1×1×1的第六卷积模块，其中，所述第五卷积模块由一个卷积核数为16、卷积核大小为3×3×3的3D卷积层级联一个批规范化层和一个ReLu激活函数层构成，所述第三残差模块包含两个卷积核数为16、卷积核大小为3×3×3、扩张系数为6的卷积层，且每个卷积层前级联一个批规范化层和一个ReLu激活函数层，所述第六卷积模块由一个卷积核数为2、卷积核大小为1×1×1的3D卷积层构成。


6.根据权利要求1所述的多任务MRI脑瘤图像分割方法，其特征在于，所述脑瘤分割网络模型的训练方法包括：
获取第二多模态3DMRI图像集，其中，所述第二多模态3DMRI图像集包括若干第三多模态3DMRI图像，所述第三多模态...

【专利技术属性】
技术研发人员：张鼎文，黄国海，张强，张佳佳，韩军功，王龙，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61