一种基于深度学习的3D心室核磁共振视频分割优化系统技术方案

本发明专利技术公开了一种基于深度学习的3D心室核磁共振视频分割优化系统，该系统通过深度时空可变形卷积融合模块TDAM获取MRI视频段中高维图像特征；利用增强可变形卷积注意力网络TDAM得到的高维图像特征中时空信息，将不同尺度的特征图融合后输出带有多尺度信息的特征图；通过概率噪声校正模块PNCM得到高维图像特征的分布，输出包含分布均值和方差信息的嵌入向量；EDAN输出的特征图与PNCM输出的嵌入向量扩展后进行拼接卷积得到预测结果。利用训练好的网络模型对新输入的3D心室MRI视频直接进行分割，通过引入多帧图像补偿、可变形卷积以及多尺度注意力机制，能有效地提高心室分割的准确度和效率，并具有较高的鲁棒性。并具有较高的鲁棒性。并具有较高的鲁棒性。

【技术实现步骤摘要】
一种基于深度学习的3D心室核磁共振视频分割优化系统


[0001]本专利技术涉及医疗影像工程
，特别涉及一种基于深度学习的3D心室核磁共振视频分割优化系统。

技术介绍

[0002]随着医学成像技术和人工智能的发展，计算机辅助诊断中自动和半自动系统正逐渐代替传统的人工诊断系统，以进行精准诊断和治疗。目前核磁共振成像(MRI)凭借其无放射性损害和高分辨率的特点，在心室诊断中被广泛应用。为了对病患的心室情况有更好的了解，需要用精确的分割系统来正确分割心室各个部分的位置，然而，通过对三维MRI图像的视觉评估来进行常规的临床操作十分耗时，并且取决于医生的临床经验。因此，寻找一种提高心室各部分诊断的准确性和效率的系统至关重要。
[0003]现有的技术面临的挑战主要有：1.心脏内的复杂运动和血液流动会造成成像数据包含大量运动伪影、强度不均匀和噪声，然而，检测系统会忽略细微变化，从而导致检测灵敏度降低。2.现有的算法大多仅适用于处理二维自然图像，而MRI图像是一个由平行扫描图像帧组成的三维结构，因此二维定位算法会忽略重要的帧间信息。3.当心脏处于不同的状态时，其形状会有很大差异。对于患有心脏病的病人而言，这种形变尤为明显。病人的心室会随着呼吸的变化而产生剧烈的形变，导致相同属性的区域会产生极大的形变，尤其是包裹左心室的心肌部分和右心室部分，会对分割系统产生极大的干扰和挑战。4.由于医学图像数据量少，缺乏高质量的标注数据和训练样本，因此训练后的模型容易泛化能力弱，出现过拟合的问题。
[0004]综上，提供一种基于深度学习的3D心室核磁共振视频分割优化系统，利用MRI视频图像帧内和帧间的连续性信息，以提高心室分割的准确度和效率，成为目前亟待解决的重要技术问题。

技术实现思路

[0005]本专利技术的目的在于针对目前医学图像心室分割现有技术的不足，提供了一种基于深度学习的3D心室核磁共振视频分割优化系统，用于自动分割心室各部分的位置，定位结果准确率高，模型具有较高的鲁棒性。
[0006]本专利技术的目的是通过以下技术方案来实现的：一种基于深度学习的3D心室核磁共振视频分割优化系统，该系统包括3D心室核磁共振MRI视频数据预处理模块、可变形卷积的深度注意力网络DeU
‑
Net和图像检测模块；
[0007]所述3D心室核磁共振MRI视频数据预处理模块对现有的3D心室MRI视频数据集中各帧MRI图像做归一化处理；输入到可变形卷积的深度注意力网络DeU
‑
Net；
[0008]所述可变形卷积的深度注意力网络DeU
‑
Net包括深度时空可变形卷积融合模块TDAM，增强可变形卷积注意力网络EDAN和概率噪声校正模块PNCM：
[0009]所述深度时空可变形卷积融合模块TDAM：该模块包含一个U
‑
Net网络和一个可变
形卷积层；U
‑
Net网络以3D心室MRI视频数据集作为输入，输出为MRI视频段中图像的高维特征补偿区域，可变形卷积层以3D心室MRI视频数据集和高维特征补偿区域为输入，得到补偿后的图像的高维特征；
[0010]所述增强可变形卷积注意力网络EDAN：该模块包含一个下采样通道和一个上采样通道。EDAN以TDAM输出的图像的高维特征作为输入，经过L层下采样得到特征经过卷积得到上采样通道中第L层的原始特征与拼接后得到和共同输入到DeConv(a)模块，所述DeConv(a)模块通过可变形卷积得到偏移Δ
L
和融合后的第L层特征具体计算为：
[0011][0012]上采样通道第i层的原始特征均与下采样通道中对应层的特征拼接得到拼接得到Δ
i+1
，共同输入DeConv(b)模块，其中i∈[1,L
‑
1]；最终得到上采样通道最后一层的融合后的特征
[0013][0014]所述DeConv(b)模块包含多尺度注意力模块MSAM和一个可变形卷积层；与Δ
i+1
拼接后在进行卷积得到Δ
i
，MSAM的输入为与Δ
i
进行可变形卷积后的特征x(H
×
W)和卷积后的特征其中H和W分别代表输入特征的高度和宽度；MSAM的计算公式为：
[0015][0016]其中k和j为输入x，y以及输出z的索引，k∈[1,H]，σ(
·
)为用来归一化的标量函数，φ(
·
)为计算x和y之间配对相关性的函数；θ(
·
)为特征转换函数；
[0017]将进行双线性插值后的特征与z以及x(H
×
W)进行拼接，之后卷积得到
[0018]所述概率噪声校正模块PNCM：该模块包括一个由卷积层构成的共享权重的孪生神经网络、两个由全连接层构成的独立的特征提取层和重参数操作。孪生神经网络以TDAM输出的图像的高维特征作为输入，其输出分别输入到两个特征提取层进行特征提取，一个特征提取层输出为输入图像的高维特征的均值，另一个特征提取层输出为输入图像的高维特征的方差，将方差通过重参数操作加上均值后生成嵌入向量作为最终输出；
[0019]所述图像检测模块用于3D心室区域分割，利用训练好的可变形卷积的深度注意力网络DeU
‑
Net计算测试集3D心室MRI图像的概率热图。具体为，将EDAN得到的特征图与PNCM得到的嵌入向量拼接后，通过卷积层得到概率热图。通过分割概率对每一张心室MRI图像对应的概率热图进行分割，获得分割结果，即左心室区域、心肌区域和右心室区域。
[0020]进一步地，所述数据增强模块在图像处理过程中，通过旋转、调节对比度以及缩放的方式扩充数据集，将3D心室MRI视频分为x,y,z,t四个方向，其中x,y,z代表空间坐标系，t代表时间轴，选用x
‑
y平面的视频帧。
[0021]进一步地，在各帧MRI图像输入Deformable U
‑
Net网络前，选用目标帧沿时间t轴方向的前后r帧作为Deformable U
‑
Net网络输入，即2r+1帧MRI图像。
[0022]进一步地，所述深度时空可变形卷积融合模块TDAM中，卷积层的计算过程为：
[0023][0024]其中conv
out
为卷积层输出图像大小，conv
in
是输入图像大小，padding表示在图像周围填充像素，kennel_size为卷积核大小，stride为卷积核的步长；
[0025]3×
3卷积核R定义为：R＝{(
‑
1,
‑
1),(
‑
1,0),
…
,(0,1),(1,1)}，卷积层的特征y(p0)为：
[0026][0027]其中p
n
为R中的位置，w(
·
)为权重，x(
·
)为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的3D心室核磁共振视频分割优化系统，其特征在于，该系统包括3D心室核磁共振MRI视频数据预处理模块、可变形卷积的深度注意力网络DeU
‑
Net和图像检测模块；所述3D心室核磁共振MRI视频数据预处理模块对现有的3D心室MRI视频数据集中各帧MRI图像做归一化处理；输入到可变形卷积的深度注意力网络DeU
‑
Net；所述可变形卷积的深度注意力网络DeU
‑
Net包括深度时空可变形卷积融合模块TDAM，增强可变形卷积注意力网络EDAN和概率噪声校正模块PNCM：所述深度时空可变形卷积融合模块TDAM：该模块包含一个U
‑
Net网络和一个可变形卷积层；U
‑
Net网络以3D心室MRI视频数据集作为输入，输出为MRI视频段中图像的高维特征补偿区域，可变形卷积层以3D心室MRI视频数据集和高维特征补偿区域为输入，得到补偿后的图像的高维特征；所述增强可变形卷积注意力网络EDAN：该模块包含一个下采样通道和一个上采样通道。EDAN以TDAM输出的图像的高维特征作为输入，经过L层下采样得到特征道。EDAN以TDAM输出的图像的高维特征作为输入，经过L层下采样得到特征经过卷积得到上采样通道中第L层的原始特征与拼接后得到和共同输入到DeConv(a)模块，所述DeConv(a)模块通过可变形卷积得到偏移Δ
L
和融合后的第L层特征具体计算为：上采样通道第i层的原始特征均与下采样通道中对应层的特征拼接得到拼接得到Δ
i+1
，共同输入DeConv(b)模块，其中i∈[1,L
‑
1]；最终得到上采样通道最后一层的融合后的特征最后一层的融合后的特征所述DeConv(b)模块包含多尺度注意力模块MSAM和一个可变形卷积层；与Δ
i+1
拼接后在进行卷积得到Δ
i
，MSAM的输入为与Δ
i
进行可变形卷积后的特征x(H
×
W)和卷积后的特征其中H和W分别代表输入特征的高度和宽度；MSAM的计算公式为：其中k和j为输入x，y以及输出z的索引，k∈[1,H]，σ(
·
)为用来归一化的标量函数，φ(
·
)为计算x和y之间配对相关性的函数；θ(
·
)为特征转换函数；将进行双线性插值后的特征与z以及x(H
×
W)进行拼接，之后卷积得到所述概率噪声校正模块PNCM：该模块包括一个由卷积层构成的共享权重的孪生神经网络、两个由全连接层构成的独立的特征提取层和重参数操作。孪生神经网络以TDAM输出的图像的高维特征作为输入，其输出分别输入到两个特征提取层进行特征提取，一个特征提取层输出为输入图像的高维特征的均值，另一个特征提取层输出为输入图像的高维特征的
方差，将方差通过重参数操作加上均值后生成嵌入向量作为最终输出；所述图像检测模块用于3D心室区域分割，利用训练好的可变形卷积的深度注意力网络DeU
‑
Net计算测试集3D心室MRI图像的概率热图。具体为，将EDAN得到的特征图与PNCM得到的嵌入向量拼接后，通过卷积层得到概率热图。通过分割概率对每一张心室MRI图像对应的概率热图进行分割，获得分割结果，即左心室区域、心肌区域和右心室区域。2.根据权利要求1所述的一种基于深度学习的3D心室核磁共振视频分割优化系统，其特征在于，所述数据增强模块在图像处理过程中，通过旋转、调节对比度以及缩放的方式扩充数据集，将3D心室MRI视频分为x,y,z,t四个方向，其中x,y,z代表空间坐标系，t代表时间轴，选用x
‑
y平面的视频帧。3.根据权利要求1所述的一种基于深度学习的3D心室核磁共振视频分割优化系统，其特征在于，在各帧MRI图像输入Deformable U
‑
Net网络前，选用目标帧沿时间t轴方向的前后r帧作为Deformable U
‑
Net网络输入，即2r+1帧MRI图像。4.根据权利要求1所述的一种基于深度学习的3D心室核磁共振视频分割优化系统，其特征在于，所述深度时空可变形卷积融合模块TDAM中，卷积层的计算过程为：其中conv
out
为卷积层输出图像大小，conv
in<...

【专利技术属性】
技术研发人员：董舜杰，潘子宣，卓成，付钰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：