一种基于DeepLabV3网络的左心室超声动态分割方法技术

本发明专利技术公开了一种基于DeepLabV3网络的左心室超声动态分割方法，所述动态分割方法包括如下步骤：收集二维超声心动图中心尖四腔切面的数据，形成数据集；对数据集进行预处理并标准化，并将数据集划分为训练集，测试集以及验证集；构建深度学习网络模型，用上述划分得到的训练集对网络模型进行训练；使用训练阶段得到的最终权重参数对验证集进行验证，验证集评估出来的效果用来调整超参数，最后用测试集进行测试。本发明专利技术方法中的网络模型使用的参数更少，降低了网络的复杂度，同时能够自动地、准确地动态提取二维超声心动图中心尖四腔切面中的左心室区域，无需人工进行交互，通用性、泛化能力较好。能力较好。能力较好。

【技术实现步骤摘要】
一种基于DeepLabV3网络的左心室超声动态分割方法


[0001]本专利技术属于医学图像处理
，涉及一种基于DeepLabV3网络的左心室超声动态分割方法。

技术介绍

[0002]超声心动图能够直观显示和定量测量心脏解剖结构、功能及血流动力学方面的重要信息，从而反映心脏生理或病理状态下的构型特征，是心脏病诊断的主要医学影像手段。准确的心室内膜定位是超声心动图诊断的重要环节，传统方式此过程需要医师多次手动选择相关切面及描记感兴趣区域，效率低、精度和可重复性差，无法完全满足实际应用的需求。
[0003]传统的超声心动图左心室分割主要包括边缘检测和模型匹配法。需要人工进行分割结果的确认及标注结果调整。虽然边缘检测法能够适用于诸多复杂的心腔形状，但是因为其准确率较低，无法直接作为医生的参考。模型匹配法则只能适用于特定的一种或几种的心腔形状，如果存在病人心腔形状较为复杂的情况时时无法得到较好的准确率。
[0004]对于超声心动图中的左心室的动态分割仍然存在难点，主要在左心室本身的复杂生理结构以及心脏超声图像存在的大量噪声等因素上，例如在心脏收缩的过程中，心腔内乳头肌的干扰会造成边界模糊。相比于传统图像处理方法，深度学习在超声心动图分割中表现出更大的潜能，因为深度学习在大规模的生物图像上进行模型训练，其分割复杂的心腔仍能达到很高的精度。但是基于现有的方法，但是大部分学者的研究在更为清晰的MRI图像或者静态超声影像上，因此在解决二维超声心动图中左心室的动态分割的问题上，算法仍有很大的提升空间。
专利
技术实现思路

[0005]为了解决现有技术存在的不足，本专利技术的目的是提供一种基于DeepLabV3网络的左心室超声动态分割方法，使用弱监督的学习方式学习标注图像的特征对未进行标注的二维超声心动图中的心尖四腔切面中的左心室超声图像进行动态分割。
[0006]本专利技术方法包括以下步骤：
[0007]步骤1：收集二维超声心动图中心尖四腔切面的数据，所述数据包括斯坦福心脏超声数据集，所述斯坦福心脏超声数据集中的视频包含对部分帧中心脏收缩末期和舒张末期的左心室的标注。
[0008]步骤2：对数据集进行预处理，所述预处理包括裁剪和遮罩，以去除文本、心电图以及扫描扇区之外的其他信息，所述其他信息具体包括帧率，医院信息等，与使用的超声机器有关。同时根据不同的超声采集机器调整图像为600
×
600或768
×
768像素，并使用OpenCV通过三次插值下采样为112
×
112大小的视频并使用中心化Z
‑
score的方法进行标准化。之后对预处理后的数据集按照75％，12.5％，12.5％的比例划分为训练集，测试集以及验证集。
[0009]步骤3：对步骤2中的训练集数据采用本专利技术提出的如附图2所示的基于DeepLabV3网络的网络模型进行训练：在训练阶段，使用Pytorch深度学习框架对训练集进行模型参数的学习，首先图像输入到ResNet50的残差网络结构中，ResNet50的结构如附图3所示，之后采用一个4个并行的空洞卷积，分别是一个1
×
1的卷积以及三个不同膨胀率的空洞卷积的空间金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)结构，学习图像的多尺度特征，同时增加全局平均池化层来增加图像级的特征来捕获全局信息。最后得到具有分割结果的特征图，再通过双线性上采样恢复到原图尺寸。
[0010]步骤4：使用训练阶段得到的最终权重参数文件对验证集进行验证，验证集评估出来的效果用来调整超参数，最后使用测试集进行测试并对结果进行评估。
[0011]本专利技术方法中，步骤2中还包括数据格式转换的步骤，将dicom格式转化为avi格式。
[0012]本专利技术实现过程中的伪代码如下：
[0013][0014]本专利技术方法的有益效果在于：
[0015]实施本专利技术的左心室超声动态分割的方法，使对心脏超声视频中的左心室的实时动态分割变得可行。在使用自己采集的相关超声数据时，可以同时减轻初期对数据集标注的工作量。
[0016]本专利技术采用的网络以弱监督的方式去学习数据特征，只需要对视频数据集中的多帧图像进行少量标注即可进行训练，减轻了工作量。
[0017]本专利技术采用基于DeepLabv3网络的左心室动态分割模型，能够自动地、准确地动态提取二维超声心动图中心尖四腔切面中的左心室区域，无需人工进行交互，通用性、泛化能
力较好。
[0018]本专利技术技术方案中的网络使用了空洞卷积，对比普通卷积，网络使用更少的参数达到了同样的效果，也降低了网络的复杂度。
附图说明
[0019]图1是本专利技术方法技术方案的简略流程图。
[0020]图2是本专利技术方法的网络结构图。
[0021]图3是本专利技术ResNet50残差网络结构示意图。
[0022]图4是本专利技术二维超声心动图心尖四腔切面dicom数据转化为avi格式之后中的一帧图像。
[0023]图5是本专利技术对视频去除冗余数据以及下采样之后中的一帧图像。
[0024]图6是本专利技术实施例中分割结果视频中其中一张的原视频图像以及利用本专利技术模型对左心室进行分割的结果图。
具体实施方式
[0025]结合以下具体实施例和附图，对本专利技术作进一步的详细说明。实施本专利技术的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本专利技术没有特别限制内容。
[0026]本专利技术中的二维超声心动图指是通过探头产生的声束透入胸壁后扇形扫描获得的心脏成像。其中心尖四腔切面是从心尖平面获取的成像，包含多个心动周期的超声视频。如附图4所示，为心尖四腔视频中的一帧图像。
[0027]针对目前现有技术存在的不足，本专利技术提供一种可以对二维超声心动图中的心尖四腔切面中的左心室超声图像动态分割的方法。本专利技术的方法实施包括：
[0028]1)收集二维超声心动图中从心尖切面采集的心尖四腔切面的数据，数据包括斯坦福心脏超声数据集，形成数据集。
[0029]所述斯坦福心脏超声数据集中的视频包含对部分帧中左心室的标注。
[0030]2)对Dicom格式数据进行转化为avi格式的操作，如附图4所示为转换为avi之后的一帧图像，对数据集进行预处理，所述预处理包括裁剪和遮罩，以去除文本、心电图以及扫描扇区之外的其他信息，所述其他信息与使用的超声机器有关，具体包括帧率，医院信息等。同时根据不同的超声采集机器调整图像为不同生成的方形图像为600
×
600或768
×
768像素，并使用OpenCV通过三次插值下采样为112
×
112大小的视频并使用中心化Z
‑
score的方法进行标准化。如附图5所示。
[0031]中心化Z
‑
score方法首先对于输入的图像x
i
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于DeepLabV3网络的左心室超声动态分割方法，其特征在于，所述动态分割方法使用弱监督的学习方式学习标注图像的特征从而对数据集中其他心脏未标注的图像进行左心室分割，所述动态分割方法包括如下步骤：步骤1：收集二维超声心动图中心尖四腔切面的数据，形成数据集；步骤2：对数据集进行预处理并标准化，并将数据集划分为训练集，测试集以及验证集；步骤3：构建深度学习网络模型，用步骤2中划分得到的训练集对网络模型进行训练；步骤4：使用训练阶段得到的最终权重参数文件对验证集进行验证，验证集评估出来的效果用来调整超参数，最后用测试集进行测试并对结果进行评估。2.如权利要求1所述的动态分割方法，其特征在于，步骤1中，所述数据包括斯坦福心脏超声数据集，所述斯坦福心脏超声数据集中的视频包含对心脏收缩末期和舒张末期中左心室的标注。3.如权利要求1所述的动态分割方法，其特征在于，步骤2中，所述预处理包括裁剪和遮罩，去除文本、心电图以及扫描扇区以外的其他信息；所述其他信息和使用的超声机器有关，包括帧率，医院信息。4.如权利要求1所述的动...

【专利技术属性】
技术研发人员：王江涛，周舒宁，潘海林，王雪松，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：