对于缺失模态鲁棒的多模态制造技术

本发明专利技术提供了一种对于缺失模态鲁棒的多模态

【技术实现步骤摘要】
对于缺失模态鲁棒的多模态MRI脑瘤图像分割方法及系统


[0001]本专利技术涉及智能医疗图像
，应用于医学图像分割方面，具体地，涉及对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法及系统，更为具体地，涉及基于前后交互学习的对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法及系统
。

技术介绍

[0002]脑瘤分割是通过医疗影像数据对于脑部肿瘤区域进行定量分析的关键技术，脑瘤分割对神经胶质瘤患者的诊断和预后至关重要
。
临床中，医生往往需要借助医学影像对病灶进行观察
、
分析并诊断病情，在手术前也需要对病灶区域进行精确的测量
。
虽然手动对于病灶区域进行分割也可以得到较高的精度，但常常耗时耗力而且还有因为经验水平而造成的不稳定性
。
脑瘤分割算法能够利用计算机辅助完成边缘检测
、
聚类
、
阈值划分等操作，在保证一定精度的情况下有效提升病灶区域分割的效率
。
[0003]多模态的脑瘤分割算法可以充分利用不同模态的
MRI
图像的互补性来提高分割的精度，因为仅使用单一的模态无法充分地表达病灶的信息
。
近来，越来越多的研究者使用多模态的脑瘤分割算法来提升模型分割的精度，不同模态的
MRI
图像进行前融合
、
特征融合和输出分布融合等技术来踢去不同模态之间的互补信息
。
[0004]虽然利用多模态数据进行图像分割效果较好，但在现实条件下，往往会出现部分模态数据缺失的问题
。
首先，患者能够拍摄的医疗影像种类受限于医院的医疗器械种类以及相应的专业医疗人员；其次，一些患者也会考虑到造影时间
、
医疗费用等因素放弃部分模态的医疗影像拍摄；另外，对造影剂过敏
、
体内留有金属等原因，也会导致无法拍摄造影增强的
CT
或核磁共振，从而导致部分模态的缺失
。
而缺失了部分模态的数据，会导致已有的多模态分割算法获取的信息不足，导致分割效果有所下降
。
[0005]专利文献
CN114782350A(
申请号：
202210393464.8)
公开了一种基于注意力机制的多模态特征融合的
MRI
脑瘤图像分割方法，该专利技术主干网络进行编码，然后通过混合上下文感知模块感知全局和局部信息，最后通过注意力融合模块对多模态特征进行融合并输出图像
。
然而该专利所设计的结构无法在缺失模态情况下使用，在真实医疗场景下应用容易受限制，忽略模型对于各种缺失场景的鲁棒性
。
尤其是在只有单个模态可以使用的场景下，这类多模态分割模型的性能甚至不如单模态的分割模型
。

技术实现思路

[0006]针对现有技术中的缺陷，本专利技术的目的是提供一种对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法及系统
。
[0007]根据本专利技术提供的一种对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法，包括：
[0008]步骤
S1
：采集多模态
MRI
图像数据，并对多模态
MRI
图像数据进行预处理得到预处理后的多模态
MRI
图像数据；
[0009]步骤
S2
：将预处理后的多模态
MRI
图像数据中的单模态
MRI
图像数据分别输入多个
不同的编码器
‑
解码器
3D
‑
UNet
网络得到各自模态的判别性表征；
[0010]步骤
S3
：将预处理后的多模态
MRI
图像数据中的各单模态
MRI
图像数据在通道维度上进行连接，并输入至前交互的编码器
‑
解码器
3D
‑
UNet
网络得到前交互融合表征；
[0011]步骤
S4
：将前交互融合表征和各自模态的判别性表征基于注意力机制进行自适应动态融合，得到后交互融合表征；
[0012]步骤
S5
：将各自模态的判别性表征
、
前交互融合表征和后交互融合表征分别输入不同的一层深度卷积神经网络得到各自的肿瘤分割图
。
[0013]优选地，所述步骤
S1
采用：对多模态
MRI
图像数据进行包括归一化处理以及随机裁剪
、
镜像翻转
、
旋转的数据增强处理；
[0014]所述多模态
MRI
图像包括：
T1
加权成像
、T2
加权成像
、T1ce
加权成像和
Flair
[0015]成像
。
[0016]优选地，所述编码器
‑
解码器
3D
‑
UNet
网络包括：四个阶段的编码器
、
瓶颈层和四个阶段的解码器；
[0017]所述编码器逐阶段地减少空间分辨率和增加表征通道数构建表征的金字塔，得到编码表征将输入到瓶颈层，利用瓶颈层提取高维的语义表征，瓶颈层的输出输入到解码器中，解码器将瓶颈层提取的抽象表征映射回原始输入图像的分辨率，通过逐步上采样和特征融合得到包含位置和结构信息的表征
[0018]优选地，所述步骤
S3
采用：将
x
Flair
,x
T1
,x
T1ce
,x
T2
在通道维度上进行连接得到
x
Pre
；
[0019]x
Pre
＝
CAT([
δ
m
·
x
m
]m∈
Ω
)
[0020]其中，
CAT
表示通道维度上连接的操作；
δ
m
表示模态
m
是否存在；
x
m
表示模态
m
；
Ω
＝
{Flair,T1,T1ce,T2}
；
x
Flair
,x
T1
,x
T1ce
,x
T2
分别表示预处理后的
Flair
成像数据
、
预处理后的
T1
加权成像数据
、
预处理后的
T1ce
加权成像数据以及预处理后的
T2
加权成像数据；
[0021本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法，其特征在于，包括：步骤
S1
：采集多模态
MRI
图像数据，并对多模态
MRI
图像数据进行预处理得到预处理后的多模态
MRI
图像数据；步骤
S2
：将预处理后的多模态
MRI
图像数据中的单模态
MRI
图像数据分别输入多个不同的编码器
‑
解码器
3D
‑
UNet
网络得到各自模态的判别性表征；步骤
S3
：将预处理后的多模态
MRI
图像数据中的各单模态
MRI
图像数据在通道维度上进行连接，并输入至前交互的编码器
‑
解码器
3D
‑
UNet
网络得到前交互融合表征；步骤
S4
：将前交互融合表征和各自模态的判别性表征基于注意力机制进行自适应动态融合，得到后交互融合表征；步骤
S5
：将各自模态的判别性表征
、
前交互融合表征和后交互融合表征分别输入不同的一层深度卷积神经网络得到各自的肿瘤分割图
。2.
根据权利要求1所述的对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法，其特征在于，所述步骤
S1
采用：对多模态
MRI
图像数据进行包括归一化处理以及随机裁剪
、
镜像翻转
、
旋转的数据增强处理；所述多模态
MRI
图像包括：
T1
加权成像
、T2
加权成像
、T1ce
加权成像和
Flair
成像
。3.
根据权利要求1所述的对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法，其特征在于，所述编码器
‑
解码器
3D
‑
UNet
网络包括：四个阶段的编码器
、
瓶颈层和四个阶段的解码器；所述编码器逐阶段地减少空间分辨率和增加表征通道数构建表征的金字塔，得到编码表征将输入到瓶颈层，利用瓶颈层提取高维的语义表征，瓶颈层的输出输入到解码器中，解码器将瓶颈层提取的抽象表征映射回原始输入图像的分辨率，通过逐步上采样和特征融合得到包含位置和结构信息的表征
4.
根据权利要求1所述的对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法，其特征在于，所述步骤
S3
采用：将
x
Flair
,x
T1
,x
T1ce
,x
T2
在通道维度上进行连接得到
x
Pre
；其中，
CAT
表示通道维度上连接的操作；
δ
m
表示模态
m
是否存在；
x
m
表示模态
m
；
Ω
＝
{Flair,T1,T1ce,T2}
；
x
Flair
,x
T1
,x
T1ce
,x
T2
分别表示预处理后的
Flair
成像数据
、
预处理后的
T1
加权成像数据
、
预处理后的
T1ce
加权成像数据以及预处理后的
T2
加权成像数据；将
x
Pre
输入至输入通道为4的前交互的编码器
‑
解码器
3D
‑
UNet
网络，得到四个阶段的编码表征以及四个阶段的解码表征
5.
根据权利要求1所述的对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法，其特征在于，对编码器
‑
解码器
3D
‑
UNet
网络不同阶级输出的表征予以监督；将第
s
阶段的编码器表征和第
s+1
阶段解码器表征进行上采样两倍后在通道维度进行融合，输入到一层卷积核大小为
1x1x1
的带有
softmax
函数的卷积神经网络，输出第
s
阶段对于脑瘤分割的预测图阶段对于脑瘤分割的预测图
其中，
ψ
m,s
一层卷积核大小为
1x1x1
的带有
softmax
函数的卷积神经网络；是其可学习的参数，
U
代表的是对表征进行上采样两倍的操作；受到参考脑瘤分割图
y
的监督；使用标准的分割损失函数进行约束，包含
Dice
损失以及加权的交叉熵损失以及加权的交叉熵损失其中，
∩
代表预测分割图和参考分割图的交集操作，
||
·
||1表示为范数1，
K
＝
{NCR/NET,ED,ET,Background}
是一个不同区域的集合
,
一共包含四个不同的区域，分别是坏死和非强化肿瘤核，肿瘤周围水肿，以及增强肿瘤核和背景；
K
num
就是集合
K
的数量；的数量；就是用于调整每个区域权重的一个值；用于监督的表示为公式：多阶级的分割损失函数也被定义为每个阶段的加和：其中，
U
s
是上采样操作，用于匹配第
s
阶段预测和实际参考分割图的尺寸
。6.
根据权利要求1所述的对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法，其特征在于，所述步骤
S4
采用：基于注意力机制将不同的编码器
‑
解码器
3D
‑
UNet
网络的最后一层输出进行融合得到和表征维度大小为
BxCxHxWxD
；利用平均池化操作，取每个通道的
HxWxD
的平均值将表征维度坍缩为
BxC
；将坍缩后的维度在通道维度上进行连接得到的特征大小为
Bx5C
，输入到多层感知机中，多层感知机的输出通道数是5，再经过
Sigmoid
函数得到对于表征的权重
{w
m
}
m∈
Ω
和
w
Pre
,
基于权重对和进行加权和，得到后交互融合表征
f
Posy
：：：其中，是坍缩后的表征，
w
i
是各个对应表征的权重
。7.
根据权利要求1所述的对于缺失模态鲁棒的多模态
MRI
脑瘤图像分割方法，其特征在于，所述步骤
S5
采用：一个卷积核大小为
1x1x1
的卷积层，输入通道数为预设值，输出通道数是4，输出通道分别对应
K
＝
{NCR/NET,ED,ET,Background}
的四个区域；卷积层的输出还要
过
softmax
函数，
softmax
作用于输出的通道维度上；和
f
Post
经过该卷积层和
softmax
得到各自的分割图和对分割图进行二值化处理，得到四个区域的二值化分割图
。8.
根据权...

【专利技术属性】
技术研发人员：张娅，邢琳煜，陈梦茜，姚江超，王延峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：