一种基于深度学习的3D心室核磁共振视频分割系统技术方案

本发明专利技术公开了一种基于深度学习的3D心室核磁共振视频分割系统，该系统包括：MRI数据预处理模块；基于可变形卷积的深度注意力网络：深度时空可变形卷积融合模块TDAM，将时间轴上连续的3D心室MRI视频切片图像输入网络，以获取MRI视频段中高维图像的补偿区域，利用可变形卷积层得到高维图像特征；深度可变形卷积全局注意力模块DGPA，构建可变形卷积注意力模块得到有注意力的特征图，并使用加和注意力模块来抑制不相关的背景，最终得到网络模型。利用训练好的网络模型对新输入的3D心室MRI视频直接进行分割，该系统通过引入多帧图像补偿、可变形卷积以及加和注意力机制，能有效地提高心室分割的准确度和效率，并具有较高的鲁棒性。

【技术实现步骤摘要】
一种基于深度学习的3D心室核磁共振视频分割系统
本专利技术涉及医疗影像工程
，特别涉及一种基于深度学习的3D心室核磁共振视频分割系统。
技术介绍
随着医学成像技术和人工智能的发展，计算机辅助诊断中自动和半自动系统正逐渐代替传统的人工诊断系统，以进行精准诊断和治疗。目前核磁共振成像（MRI）凭借其无放射性损害和高分辨率的特点，在心室诊断中被广泛应用。为了对病患的心室情况有更好的了解，需要用精确的分割系统来正确分割心室各个部分的位置，然而，通过对三维MRI图像的视觉评估来进行常规的临床操作十分耗时，并且取决于医生的临床经验。因此，寻找一种提高心室各部分诊断的准确性和效率的系统至关重要。现有的技术面临的挑战主要有：1.核磁共振成像对病人的身体移动非常敏感，易产生伪影，然而，检测系统会忽略细微变化，从而导致检测灵敏度降低。2.现有的算法大多仅适用于处理二维自然图像，而MRI图像是一个由平行扫描图像帧组成的三维结构，因此二维定位算法会忽略重要的帧间信息。3.病人的心室会随着呼吸的变化而产生剧烈的形变，导致相同属性的区域会产生极大的形变，尤其本文档来自技高网...

【技术保护点】
1.一种基于深度学习的3D心室核磁共振视频分割系统，其特征在于，该系统包括3D心室核磁共振MRI视频数据预处理模块、可变形卷积的深度注意力网络Deformable U-Net和图像检测模块；/n所述3D心室核磁共振MRI视频数据预处理模块包括数据增强模块和数据划分模块：/n所述数据增强模块：将现有的3D心室MRI视频数据集拆分成各帧MRI图像，扩充数据集并对图像大小做归一化处理；/n所述数据划分模块：对增强后的图像数据分为训练集和测试集；所述训练集和测试集中均包含有完整的3D心室MRI图像，所述训练集用于可变形卷积的深度注意力网络Deformable U-Net进行训练；/n所述可变形卷积的深...

【技术特征摘要】
1.一种基于深度学习的3D心室核磁共振视频分割系统，其特征在于，该系统包括3D心室核磁共振MRI视频数据预处理模块、可变形卷积的深度注意力网络DeformableU-Net和图像检测模块；
所述3D心室核磁共振MRI视频数据预处理模块包括数据增强模块和数据划分模块：
所述数据增强模块：将现有的3D心室MRI视频数据集拆分成各帧MRI图像，扩充数据集并对图像大小做归一化处理；
所述数据划分模块：对增强后的图像数据分为训练集和测试集；所述训练集和测试集中均包含有完整的3D心室MRI图像，所述训练集用于可变形卷积的深度注意力网络DeformableU-Net进行训练；
所述可变形卷积的深度注意力网络DeformableU-Net包括深度时空可变形卷积融合模块TDAM和深度可变形卷积全局注意力网络DGPA：
所述深度时空可变形卷积融合模块TDAM：该模块包含一个U-Net网络和一个可变形卷积层；TDAM将时间轴上连续的3D心室MRI视频各帧图像输入U-Net网络，输出为MRI视频段中图像的高维特征补偿区域offsetfield，将其连同输入图像传入到可变形卷积层，计算得到补偿后的图像的高维特征fusedfeaturemaps，即包含了前后帧信息的融合特征；
所述深度可变形卷积全局注意力模块DGPA：该模块包含一个U-Net网络、一个可变形卷积注意力模块、三个加和注意力模块以及一个输出层，所述可变形卷积注意力模块基于空间注意力模块，将空间注意力模块的输入经过一个可变形卷积层，并将计算得到的可变形卷积层的输出与空间注意力模块的输出相加，最终得到可变形卷积注意力模块的输出；在U-Net网络的第一层skipconnection中加入可变形卷积注意力模块，并在其余三层skipconnection中加入加和注意力模块；将经过补偿的图像的高维特征fusedfeaturemaps输入U-Net网络，将U-Net网络计算得到的高维特征传入输出层得到有注意力的特征图，之后采用softmax回归函数得到分割概率，即MRI图像中的某区域属于左心室、心肌或者右心室的概率；
所述图像检测模块用于3D心室区域分割，利用训练好的网络计算测试集3D心室MRI图像的概率热图，根据DGPA得到的分割概率对每一张心室MRI图像对应的概率热图进行分割，获得分割结果，即左心室区域、心肌区域和右心室区域。


2.根据权利要求1所述的一种基于深度学习的3D心室核磁共振视频分割系统，其特征在于，所述数据增强模块在图像处理过程中，通过旋转、调节对比度以及缩放的方式扩充数据集，将3D心室MRI视频分为x,y,z,t四个方向，其中x,y,z代表空间坐标系，t代表时间轴，选用x-y平面的视频帧。


3.根据权利要求1所述的一种基于深度学习的3D心室核磁共振视频分割系统，其特征在于，在各帧MRI图像输入DeformableU-Net网络前，选用目标帧沿时间t轴方向的前后r帧作为DeformableU-Net网络输入，即2r+1帧MRI图像。


4.根据权利要求1所述的一种基于深度学习的3D心室核磁共振视频分割系统，其特征在于，所述深度时空可变形卷积融合模块TDAM中，共包含9层结构，第一层包含一个卷积层和一个Relu函数，将输入通道数(2r+1)*in_c转变为nf，其中in_c为输入图像通道数，nf为自定义卷积层输出通道数；第2到4层为下采样结构，包含两个卷积层和两个Relu函数；第5到6层为上采样结构，包含一个卷积层，一个反卷积层和两个Relu函数；第7层为跳转传递结构，将下采样得到的特征处理后与上采样结果融合，包含两个卷积层，一个反卷积层和三个Relu函数；第8层为offset输出结构，包含两个卷积层和一个Relu函数，第二个卷积层输出通道数(2r+1)*2*(deform_ks)2，其中deform_ks为可变形卷积卷积核大小；第九层结构为一个可变形卷...

【专利技术属性】
技术研发人员：田梅，董舜杰，卓成，张宏，施政学，赵金龙，张茂俊，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33