【技术实现步骤摘要】
本专利技术属于医学影像处理与分析，涉及一种基于多模态特征融合的mri脑肿瘤分割方法。
技术介绍
1、脑肿瘤分割是医学影像分析中的重要任务，对于准确诊断、制定治疗计划和患者监测具有重要意义。mri（magnetic resonance imaging，磁共振成像）作为一种无创的医学影像技术，能够提供关于脑肿瘤的多方面信息，包括肿瘤的位置、大小、形态以及其与周围组织的关系等。然而，由于脑肿瘤的复杂性和多样性，以及mri图像数据的固有复杂性和可变性，实现准确的脑肿瘤分割仍然是一个挑战。
2、传统的脑肿瘤分割方法主要基于机器学习技术，这些方法依赖于手动设计的特征，并需要明确的特征工程。然而，手动提取和设计特征不仅具有挑战性且耗时，而且可能无法完全捕捉到医学图像中复杂的空间关系和模式，导致次优的分割结果，特别是对于复杂的肿瘤形状和结构。
3、近年来，随着深度学习技术的快速发展，基于深度学习的方法在脑肿瘤分割任务中表现出了显著的优势。这些方法利用卷积神经网络（cnn）等深度神经网络架构，能够从数据中自主学习复杂的模式和特征，而无需手动特征工程。然而，现有的基于深度学习的方法在整合来自多个mri序列的信息时仍存在不足，如全局上下文信息捕获效率低、对多模态数据的融合方式简单等，这些问题限制了分割性能的进一步提升。
4、多模态特征表示学习通过整合来自各种模态的信息，深度学习模型可以捕获互补特征，并更全面地了解肿瘤区域，从而获得更准确、更稳健的分割结果。文献（brain tumorsegmentation and
5、在涉及肿瘤纹理模式分析及多模态mri应用的领域中，通常观察到肿瘤展现出多样化的纹理特性，诸如信号强度分布的计算、纹理属性（例如粗糙性、均匀度、复杂度等）以及空间频率特性的评估。flair（fluid-attenuated inversion recovery）、t2-weighted（t2）、t1-weighted（t1）以及t1-weighted postcontrast（t1c）图像是四种关键的mri序列。flair序列特别适用于抑制脑脊液信号，进而增强肿瘤及水肿等异常结构的可视性；t2加权成像在揭示脑肿瘤、水肿及炎症等病理改变方面尤为有效；t1序列则因其提供的卓越解剖细节与组织对比度，有助于精确定位肿瘤，特别是在肿瘤与邻近脑组织间对比度较低的情形下；t1c序列则主要用于辨识肿瘤边界及描绘各类肿瘤核心区域，对识别肿瘤的强化部分具有关键作用。
6、将上述四种mri序列的纹理特征结合在一起，可以显著增强特征表示，从而大幅提升脑肿瘤分割的精度。然而，由于整合来自多个mri序列信息的复杂性，现有的分割方法往往难以充分利用这些纹理特征。
7、因此，亟需一种跨多个mri序列的脑肿瘤分割方法，能够提取模态级、空间级、通道级特征，实现特征的有效融合，以提升模型的精度，满足临床需求。
技术实现思路
1、本专利技术的目的是解决现有技术存在的问题，提供一种基于多模态特征融合的mri脑肿瘤分割方法。
2、为达到上述目的，本专利技术采用的技术方案如下：
3、一种基于多模态特征融合的mri脑肿瘤分割方法，将同一脑肿瘤的t1图像、t1c图像、t2图像和flair图像共同输入到训练后的图像分割模型中，由其输出预测分割图像；
4、预测分割图像即通过预测得到的具有3个分割区域的脑肿瘤mri图像，3个分割区域分别为完整肿瘤区域、肿瘤核心区域和增强瘤区域；
5、图像分割模型包括编码器和解码器；
6、编码器包括模态级特征融合模块，模态级特征融合模块的工作流程如下：
7、（a）对特征fi应用3×3×3的卷积层操作，产生查询向量qi、键向量ki、值向量vi，i=1,…,4，f1、f2、f3、f4分别从t1图像、t1c图像、t2图像和flair图像中提取得到；
8、（b）将qi与ki进行逐元素相乘后，经过激活函数softmax产生注意力分数attii；
9、（c）将v1与v2进行逐元素相加，同时将v3与v4进行逐元素相加后，将二者所得结果进行逐元素相加，得到的结果记为vc；
10、（d）将vc与attii进行逐元素相乘后，将所得结果与fi进行逐元素相加，得到特征fi'。
11、作为优选的技术方案：
12、如上所述的一种基于多模态特征融合的mri脑肿瘤分割方法，编码器的工作流程如下：
13、（ⅰ）图像mi依次经过标准卷积归一化激活模块、空洞卷积编码增强模块得到fi，m1、m2、m3、m4分别为t1图像、t1c图像、t2图像和flair图像；
14、标准卷积归一化激活模块由依次连接的卷积层、实例归一化层、leakyrelu激活函数层组成；
15、空洞卷积编码增强模块对输入特征依次进行扩张率为2的3×3×3空洞卷积、实例归一化、leakyrelu激活函数处理、比率为0.3的丢弃处理、扩张率为4的3×3×3空洞卷积、实例归一化、leakyrelu激活函数处理后，与标准卷积归一化激活模块的结果相加，输出编码结果；
16、（ⅱ）将f1、f2、f3、f4同时输入到模态级特征融合模块，由其输出f1'、f2'、f3'、f4'；
17、（ⅲ）fi'依次经过下采样卷积归一化激活模块、空洞卷积编码增强模块得到新的fi；
18、下采样卷积归一化激活模块由依次连接的步长为2的卷积层、实例归一化层、leakyrelu激活函数层组成；
19、（ⅳ）将新的f1、f2、f3、f4同时输入到模态级特征融合模块，由其输出新的f1'、f2'、f3'、f4'；
20、（ⅴ）重复步骤（ⅲ）~（ⅳ）4次，将最后一次输出的f1'、f2'、f3'、f4'串联，得到f。
21、如上所述的一种基于多模态特征融合的mri脑肿瘤分割方法，解码器的工作过程为：f经空间和通道级特征融合模块得到混合信道表示ff，ff依次经5个上采样通道与空间特征融合卷积模块，第1~4个上采样通道与空间特征融合卷积模块的输出分为两部分，第一部分作为下一个上采样通道与空间特征融合卷积模块的输入，第1~4个上采样通道与空间特征融合卷积模块的输出的第二部分以及本文档来自技高网...
【技术保护点】
1.一种基于多模态特征融合的MRI脑肿瘤分割方法，其特征在于，将同一脑肿瘤的T1图像、T1c图像、T2图像和Flair图像共同输入到训练后的图像分割模型中，由其输出预测分割图像；
2.根据权利要求1所述的一种基于多模态特征融合的MRI脑肿瘤分割方法，其特征在于，编码器的工作流程如下：
3.根据权利要求2所述的一种基于多模态特征融合的MRI脑肿瘤分割方法，其特征在于，解码器的工作过程为：f经空间和通道级特征融合模块得到混合信道表示ff，ff依次经5个上采样通道与空间特征融合卷积模块，第1~4个上采样通道与空间特征融合卷积模块的输出分为两部分，第一部分作为下一个上采样通道与空间特征融合卷积模块的输入，第1~4个上采样通道与空间特征融合卷积模块的输出的第二部分以及第5个上采样通道与空间特征融合卷积模块的输出各自先经过1×1×1卷积，再依次进行逐元素相加，得到预测分割图像；
4.根据权利要求3所述的一种基于多模态特征融合的MRI脑肿瘤分割方法，其特征在于，空间和通道级特征融合模块的工作流程如下：
5.根据权利要求1所述的一种基于多模态特征融
6.根据权利要求1所述的一种基于多模态特征融合的MRI脑肿瘤分割方法，其特征在于，图像分割模型的训练步骤如下：
...【技术特征摘要】
1.一种基于多模态特征融合的mri脑肿瘤分割方法，其特征在于，将同一脑肿瘤的t1图像、t1c图像、t2图像和flair图像共同输入到训练后的图像分割模型中，由其输出预测分割图像；
2.根据权利要求1所述的一种基于多模态特征融合的mri脑肿瘤分割方法，其特征在于，编码器的工作流程如下：
3.根据权利要求2所述的一种基于多模态特征融合的mri脑肿瘤分割方法，其特征在于，解码器的工作过程为：f经空间和通道级特征融合模块得到混合信道表示ff，ff依次经5个上采样通道与空间特征融合卷积模块，第1~4个上采样通道与空间特征融合卷积模块的输出分为两部分，第一部分作为下一个上采样通道与空...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。