基于多模态图像融合的MRI肿瘤优化分割方法及系统技术方案

本发明专利技术提供了一种基于多模态图像融合的MRI肿瘤优化分割方法及系统，包括：步骤1：构建MRI肿瘤多模态图像融合的网络；步骤2：构建用于增强肿瘤图像分割的多模态3D网络；步骤3：基于GAN的图像融合，构建显著性损失函数；步骤4：构建Mask注意机制对比度损失函数；步骤5：构建SSIM损失函数；步骤6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。本发明专利技术当训练深层架构时，一个剩余单位会有所帮助；利用递归残差卷积层进行特征积累，为分割任务提供了更好的特征表示；为医学图像分割设计了具有相同网络参数、性能较好的U‑NET体系结构。

【技术实现步骤摘要】
基于多模态图像融合的MRI肿瘤优化分割方法及系统
本专利技术涉及医学图像分割
，具体地，涉及一种基于多模态图像融合的MRI肿瘤优化分割方法及系统。尤其地，涉及一种多模态医学图像融合与损失函数优化的三维U-Net大脑肿瘤分割方法。
技术介绍
多模态MRI(核磁共振)图像是脑肿瘤评估和治疗的重要诊断工具，就目前而言，相比自然图像，医学影像分辨率相对较低，而且医学造影代价较高，数据量相对较少。医学图像的标注门槛较高，只有经验丰富的资深医师才能对三维图像进行准确标注，因此，可用来进行计算机学研究的数据样本及标签非常稀少。数据量的匮乏是医学影像相对自然图像分割的难点之一，导致目前还没有一种分割算法能够满足临床的需要，不同专家手动分割脑肿瘤图像的结果也有很大差异，而且人工成本较高。因此，研究精确度高及鲁棒性强的脑肿瘤分割方法是十分有必要的。基于MRI图像的脑肿瘤传统分割方法大致可以分为三类，即基于边界、基于区域以及两者相结合的方法。其中，基于边界的方法就是在图像中标识目标的边界，基于区域的方法就是在图像中标识目标所占有的区域，两者相结合的方法本文档来自技高网...

【技术保护点】
1.一种基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，包括：/n步骤1：构建MRI肿瘤多模态图像融合的网络；/n步骤2：构建用于增强肿瘤图像分割的多模态3D网络；/n步骤3：基于GAN的图像融合，构建显著性损失函数；/n步骤4：构建Mask注意机制对比度损失函数；/n步骤5：构建SSIM损失函数；/n步骤6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。/n

【技术特征摘要】
1.一种基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，包括：
步骤1：构建MRI肿瘤多模态图像融合的网络；
步骤2：构建用于增强肿瘤图像分割的多模态3D网络；
步骤3：基于GAN的图像融合，构建显著性损失函数；
步骤4：构建Mask注意机制对比度损失函数；
步骤5：构建SSIM损失函数；
步骤6：根据MRI肿瘤多模态图像融合的网络、多模态3D网络和三个损失函数进行MRI肿瘤优化分割。


2.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述MRI肿瘤多模态图像融合的网络包括：融合Mask注意机制和显著性损失函数。


3.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤3包括：在图像融合中，引入结构相似度指数，结构相似度指数是两个图像相似度的度量；
引入对比度损失函数、结构相似性损失函数、细节损失函数，设置λ,μ,ω为权重因子，通过计算三种函数分别乘以权重后叠加得到显著性损失函数。


4.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤4包括：定义Ei是Maski区域的四个模态图像体素的加权灰度平均值，计算出两两模态图像体素的加权灰度平均值相减与相加的比值，叠加后取绝对值得出损失函数。


5.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤5包括：构造Mask注意区域G(z)mask＝(1-Mask4)⊙G(z)和ymask＝(1-Mask4)⊙y，在融合图像G(z)和生成金标准y之间通过变换得到结构相似度指数，推出SSIM损失函数。


6.根据权利要求1所述的基于多模态图像融合的MRI肿瘤优化分割方法，其特征在于，所述步骤6包括：根据所述MRI肿瘤多模态图像融合的网络，对输入的3D核磁共振图像进行融合，根...

【专利技术属性】
技术研发人员：耿道颖，于泽宽，李郁欣，尹波，张军，吴昊，耿岩，胡斌，杨丽琴，
申请(专利权)人：复旦大学附属华山医院，
类型：发明
国别省市：上海;31