一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法技术

本发明专利技术涉及医学图像处理技术领域，公开了一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法，包括：构建瘤周水肿半监督分割数据集，并将两种模态的输入表示为I1和I2，当有标签时为I

【技术实现步骤摘要】
一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法


[0001]本专利技术涉及医学图像处理
，特别涉及一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法。

技术介绍

[0002]脑肿瘤是全世界最常见的癌症之一，胶质瘤是最普遍的恶性脑肿瘤，具有不同程度的侵袭性。在临床实践中，为了在诊断阶段对肿瘤的恶性程度进行分级，在放疗阶段勾画出脑瘤的靶区，根据瘤周水肿的范围确定正常脑组织的侵犯程度或评估术后恢复情况，需要在像素层面勾画出脑瘤的各个区域，如肿瘤核心和瘤周水肿等，以帮助诊断和治疗。
[0003]磁共振成像(MRI)在临床实践中被广泛使用，因为它有多种成像序列，为分析肿瘤结构和组织提供了丰富的互补性信息。具体来说，对于胶质瘤，常用的磁共振成像序列是T1加权(T1)、对比后T1加权(T1Gd)、T2加权(T2)和T2流体衰减反转恢复(T2
‑
FLAIR)图像。然而，在临床中，病人无法完整采集各种模态的MRI序列，而部分病灶仅在特定序列较为明显。

技术实现思路

[0004]本专利技术提供了一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法，将特定病灶影像表现较为明显的模态作为优势模态，相应的，在影像中难以辨别的模态作为非优势模态。因此，在优势模态缺失的情况下，以瘤周水肿的分割任务为例，利用两种或多种非优势模态(T1、T1ce、T2)，形成分割效果优于单个优势模态(Flair)的半监督分割。
[0005]本专利技术提供了一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法，包括：
[0006]S1、利用两种或多种非优势模态图像以及人工标注构建瘤周水肿半监督分割数据集，并将两种模态的输入表示为I1和I2，当它们有标签时表示为I
i,L
，没有标签时表示为I
i,U
；
[0007]S2、采用两个编码器接收两个模态的图像I1和I2，通过卷积层进行初始特征挖掘后，通过多输出的模态融合模块进行多模态的可解释性特征融合；
[0008]S3、重复步骤S2两次，编码器完成第三次上采样后，将双分支输出特征送入单输出模态融合模块，得到第一阶段处理后的输出特征；
[0009]S4、将第一阶段处理后的输出特征采用两个相同的解码器解码之后，输出的特征图输入到一致性计算模块，计算出一致性损失L
con
，完成第二阶段的半监督学习。
[0010]进一步地，对于数量有限的带有标签I
i,L
的输入，在计算完一致性损失后，还用金标准计算监督损失。
[0011]进一步地，在所述第一阶段和第二阶段均采用新颖的CMA
‑
Skip连接以弥补多模态和半监督之间的差距，首先将两个分支的特征串联在一起，然后使用卷积层增强表征，两个卷积核的大小为1
×1×
1以及3
×3×
3，最后，使用从0到1的注意力概率图处理原始特征F
i,ori
。
[0012]进一步地，CMA
‑
Skip连接的数学表达公式为：
[0013]F
i,new
＝CMA(F
i,1
,F
i,2
)+F
i,ori
[0014]其中，F
i,1
,F
i,2
分别表示不同非优势模态的特征图，CMA表示一系列的卷积、归一化和激活函数，F
i,ori
表示节点解码器输出的未经处理的原始特征图，F
i,new
表示结合了另一个模态特征的综合模态特征，并将再次输入到原始节点中。
[0015]进一步地，在所述第一阶段，所述模态融合模块获得两个输入，即来自第一个编码器输出的第i个特征图F
m,i
和来自第二个编码器输出的F
au,i
；首先将F
m,i
和F
au,i
按体素相加，得到共性特征图F
c
，为后续特征融合提供丰富的互补模态信息；然后将F
m,i
和F
c
以及F
au,i
和F
c
拼接后进行卷积等操作，在分别获得权重图后，再与输入的特征图相乘，得到多输出模态融合模块的两个输出F
m,i+1
和F
au,i+1
；当需要聚合特征时，只需输出F
c,i+1
即可。
[0016]进一步地，步骤S4中，为实现两个解码分支的统一，对两个预测的差异进行惩罚，相互一致性损失被用作所提出的网络的损失函数；
[0017]对于第一个解码器的输出PM_1，采用另一个解码器得到的伪标签PL_2计算MSE，然后得到一致性损失L
sup
；采用一致性损失作为反向传播和更新网络参数的指导以使两个输出相似，经过一致性和熵正则化，两个解码器达到相对平衡，达到输出一致性的目的。
[0018]进一步地，所述一致性损失L
sup
的公式为：
[0019][0020]其中，PM
i
表示第i个概率图，PL
j
表示第j个伪标签，L表示有限的标签，在使用有限标签计算监督损失后，总损失为：L
total
＝λL
con
+L
sup
。
[0021]本专利技术的有益效果为：
[0022]本专利技术利用两种或多种非优势模态图像以及少量的人工标注来构建瘤周水肿半监督分割数据集，利用两个相互联系的编码器进行三次多模态特征融合增强，利用两个完全独立的解码器(四层连续的卷积下采样对)进行一致性监督，将医学图像分割任务中的多模态分割引入半监督分割，为其提供丰富的互补信息；利用两种或多种非优势模态(T1、T1ce、T2)，形成分割效果优于单个优势模态(Flair)的半监督分割。
附图说明
[0023]图1为本专利技术半监督分割方法采用的结构示意图。
[0024]图2为本专利技术方法在非优势模态中的分割结果示意图。
[0025]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0026]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0027]由于在临床中，病人无法完整采集各种模态的MRI序列，而部分病灶仅在特定序列较为明显。因此，在优势模态缺失的情况下，以瘤周水肿的分割任务为例，利用两种或多种非优势模态(T1,T1ce，T2)，形成分割效果优于单个优势模态(Flair)的半监督分割。
[0028]如图1所示，本专利技术提供了一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法，利用两个相互联系的编码器进行三次多模态特征融合增强，利用两个完全独立的
解码器(四层连续的卷积下采样对)进行一致性监督，并对获取的特征进行学习，得到最优的网络参数，并使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，包括：S1、利用两种或多种非优势模态图像以及人工标注构建瘤周水肿半监督分割数据集，并将两种模态的输入表示为I1和I2，当它们有标签时表示为I
i,L
，没有标签时表示为I
i,U
；S2、采用两个编码器接收两个模态的图像I1和I2，通过卷积层进行初始特征挖掘后，通过多输出的模态融合模块进行多模态的可解释性特征融合；S3、重复步骤S2两次，编码器完成第三次上采样后，将双分支输出特征送入单输出模态融合模块，得到第一阶段处理后的输出特征；S4、将第一阶段处理后的输出特征采用两个相同的解码器解码之后，输出的特征图输入到一致性计算模块，计算出一致性损失L
con
，完成第二阶段的半监督学习。2.根据权利要求1所述的多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，对于数量有限的带有标签I
i,L
的输入，在计算完一致性损失后，还用金标准计算监督损失。3.根据权利要求1所述的多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，在所述第一阶段和第二阶段均采用新颖的CMA
‑
Skip连接以弥补多模态和半监督之间的差距，首先将两个分支的特征串联在一起，然后使用卷积层增强表征，两个卷积核的大小为1
×1×
1以及3
×3×
3，最后，使用从0到1的注意力概率图处理原始特征F
i,ori
。4.根据权利要求3所述的多模态辅助的非优势模态中瘤周水肿的半监督分割方法，其特征在于，CMA
‑
Skip连接的数学表达公式为：F
i,new
＝CMA(F
i,1
,F
i,2
)+F
i,ori
其中，F
i,1
,F
i,2
分别表示不同非优势模态的特征图，CMA表示一系列的卷积、归一化和激活函数，F
i,ori
表示节点解码器输出的...

【专利技术属性】
技术研发人员：谢世朋，李峥，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：