多模态医学图像分割方法、系统、存储介质及电子设备技术方案

本发明专利技术提供多模态医学图像分割方法、系统、存储介质及电子设备。所述多模态医学图像分割方法包括：构建共享特征编码器及平行解码器网络；将不同模态的医学图像数据输入所述共享特征编码器，由所述共享特征编码器提取各所述模态之间的相似解剖结构特征；将所述共享特征编码器输出的各所述模态的相似解剖结构特征一一对应地输入所述平行解码器网络中的各解码器，由各所述解码器分别在各所述模态的相似解剖结构特征的基础上突出各所述模态的特异性，从而输出各所述模态的医学图像数据的分割结果。本发明专利技术有效提高了多模态医学图像分割任务中的多模态融合效率，同时避免了分割过程中的特征共适应干扰。

【技术实现步骤摘要】
多模态医学图像分割方法、系统、存储介质及电子设备
本专利技术涉及医学图像分割领域，特别涉及多模态医学图像分割方法、系统、存储介质及电子设备。
技术介绍
医学图像的自动分割是由图像处理到图像分析的关键步骤，对于临床诊断和治疗具有非常重要的作用。而多模态磁共振成像(MRI)相较于单模态数据可以提供更多的信息，在神经影像学研究中经常组合使用不同模态MRI来克服单模态影像技术的局限性。因此，如何融合多模态MRI信息来提高自动分割的表现对于临床诊断与治疗很有意义。目前，整合多模态信息的方法已在其他领域得到了广泛研究，当前的多模态融合方法大致可以分为earlyfusion，latefusion和intermediatefusion。earlyfusion可以融合来自低层特征原始空间的多模态信息，即在输入网络训练前就已经完成了多模态数据的融合。例如Nie等人在文献“3-DFullyConvolutionalNetworksforMultimodalIsointenseInfantBrainImageSegmentation”(IEEETran本文档来自技高网...

【技术保护点】
1.一种多模态医学图像分割方法，其特征在于，包括：/n构建共享特征编码器及平行解码器网络；/n将不同模态的医学图像数据输入所述共享特征编码器，由所述共享特征编码器提取各所述模态之间的相似解剖结构特征；/n将所述共享特征编码器输出的各所述模态的相似解剖结构特征一一对应地输入所述平行解码器网络中的各解码器，由各所述解码器分别在各所述模态的相似解剖结构特征的基础上突出各所述模态的特异性，从而输出各所述模态的医学图像数据的分割结果。/n

【技术特征摘要】
1.一种多模态医学图像分割方法，其特征在于，包括：
构建共享特征编码器及平行解码器网络；
将不同模态的医学图像数据输入所述共享特征编码器，由所述共享特征编码器提取各所述模态之间的相似解剖结构特征；
将所述共享特征编码器输出的各所述模态的相似解剖结构特征一一对应地输入所述平行解码器网络中的各解码器，由各所述解码器分别在各所述模态的相似解剖结构特征的基础上突出各所述模态的特异性，从而输出各所述模态的医学图像数据的分割结果。


2.根据权利要求1所述的方法，其特征在于，还包括：
构建判别器；
令所述判别器与所述共享特征编码器进行对抗学习，以优化所述共享特征编码器提取模态间的相似解剖结构特征的能力。


3.根据权利要求2所述的方法，其特征在于，所述判别器与所述共享特征编码器进行对抗学习的实现过程包括：
训练所述共享特征编码器，以使所述共享特征编码器的对抗性损失达到最大化，同时，最小化所述判别器的判别损失，以使所述判别器与所述共享特征编码器的博弈达到平衡；
其中，所述对抗性损失所述判别损失的函数表示为xt1与xt2是来自不同模态分布Xt1和Xt2的输入图像，E指代分布的期望，D是判别器模型；θE和θD分别表示所述共享特征编码器和所述判别器中的可训练参数；ft1和ft2分别表示T1与T2经过所述共享特征编码器得到的编码特征。


4.根据权利要求2所述的方法，其特征在于，还包括：
构建采用多尺度平均绝对误差损失函数的对抗性判别网络；
令所述对抗性判别网络在所述平行解码器网络执行分割任务的过程中突出不同模态的解剖结构特征的特异性，以优化各所述解码器的解码质量。


5.根据权利要求4所述的方法，其特征在于，所述多尺度平均绝对误差的对抗性损失函数的定义为：



其中，θS表示由所述共享特征编码器及所述平行解码器网络构成的整个分割网络的可训练参数集合；θD表示所述对抗性判别网络的可训练参数集合；N表示所述解码器的层数；表示原始图像和被分割模型S预测的概率图的逐像素级乘法；表示原始图像与标签的像素...

【专利技术属性】
技术研发人员：钱晓华，李钧，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31