一种基于深度学习的超声心动图三类别的分割方法技术

本发明专利技术属于医学图像处理技术领域，具体为一种基于深度学习的超声心动图中左心房、左心室和二尖瓣的分割方法。本发明专利技术设计了一个深度神经网络模型对心尖两腔、心尖三腔和心尖四腔超声心动图实现左心房、左心室和二尖瓣的同时分割；输入为心动周期中任意时刻的图像，整个过程完全自动,具有准确高效的特点，满足实现MR分型的参数需求；并在超声图像上显示轮廓，帮助医生在诊断过程中快速准确识别目标区域，方便定量测量左心房、左心室和二尖瓣的相关参数，为二尖瓣反流的分类和分级打下基础。为二尖瓣反流的分类和分级打下基础。为二尖瓣反流的分类和分级打下基础。

【技术实现步骤摘要】
一种基于深度学习的超声心动图三类别的分割方法


[0001]本专利技术属于医学图像处理
，具体涉及一种基于深度学习的超声心动图三类别(左心房、左心室和二尖瓣)的分割方法。

技术介绍

[0002]瓣膜性心脏病是导致心力衰竭的原因之一，具有很高的致死率。二尖瓣反流(mitral regurgitation，MR)是最常见的心脏瓣膜疾病。严重的MR可引起包括心衰、房颤、感染性心内膜炎、肺高压等多种并发症，甚至导致猝死。
[0003]超声心动图是目前诊断和评估MR最重要的影像学方法，已广泛用于明确MR病因、定性及定量MR严重程度、心脏血流动力学改变的评估。根据2020年更新的美国心脏病学会二尖瓣反流管理专家共识及美国超声心动图指南罗列的MR超声心动图采集及分析流程可知，超声心动图的分析对于心超医生、心脏专家有较高的专业要求，高度依赖专业医生经验。若医生对瓣膜病的诊断及定量分析经验不足，易造成测量不准确、高估或低估瓣膜病的情况，可能延误MR患者的诊治。因此，临床上需要一套标准统一、智能高效的辅助决策系统，提高MR诊断的准确性和效率。实现该目标的第一步是对二尖瓣、心房和心室进行分割，以便以此为基础定量测量所需临床参数。
[0004]本专利技术设计了一个深度学习网络模型实现超声心动图三个心腔切面(心尖两腔、心尖三腔、心尖四腔)下三类别(左心房、左心室、二尖瓣)的同时分割，且输入为心动周期中任意时刻的图像，满足实现MR分型的参数需求。

技术实现思路

[0005]本专利技术的目的在于提供一种准确、高效的基于深度学习的超声心动图中三类别(左心房、左心室和二尖瓣)的分割方法
[0006]本专利技术提供的基于深度学习的超声心动图中三类别(左心房、左心室和二尖瓣)的分割方法，是根据超声心动图的图像特征，设计深度学习卷积网络和损失函数；在输入为心动周期中任意时刻的超声心动图像时，自动分割左心房、左心室和二尖瓣，并将结果映射到超声心动图原始图像上；其中：
[0007]所述深度学习卷积网络，是一个端到端的超声心动图多类别语义分割网络；具体采用UNet结构(Ronneberger O,Fischer P,Brox T.U
‑
net:Convolutional networks for biomedical image segmentation[C]//International Conference on Medical image computing and computer
‑
assisted intervention.Springer,Cham,2015:234
‑
241.)作为网络模型的主干，架构包括三部分：收缩路径，扩张路径，深监督机制；其中：
[0008]收缩路径使用VGG16网络(Simonyan K,Zisserman A.Very deep convolutional networks for large
‑
scale image recognition[J].arXiv preprint arXiv:1409.1556,2014.)进行图像特征提取；使网络能够提取图像中更低分辨率的特征；收缩路径提取到的初步特征将作为后续分割任务的输入；
[0009]扩张路径使用跳层连接和转置卷积进行图像还原；其中融合不同尺度的图像特征来补充高分辨率信息；
[0010]深监督机制用于约束网络中间层，充分利用网络中所有分辨率的信息，得到多尺度的特征融合；
[0011]所述损失函数，是一个带权重的多分类交叉熵函数，根据超声心动图的图像特征，对二尖瓣、左心房和左心室的类别损失取不同的权重值，使网络模型更注重于二尖瓣位置。
[0012]本专利技术中，所述用于图像特征的提取的VGG16网络，相比原始的UNet网络，增加了一个卷积模块，每个模块中增加一次3
×
3的无填充卷积，再经过ReLU激活函数，以及尺寸为2
×
2的最大池化操作。每一次下采样过程使得通道数变为原来的两倍，相应的特征图像尺寸缩小为原来的一半；使网络能够提取图像中更低分辨率的特征。收缩路径提取到的初步特征将作为后续分割任务的输入。
[0013]本专利技术中，所述扩张路径共有五个模块，每个模块中，先使用转置卷积进行上采样过程，通过跳层连接融合收缩路径对应高度的图像特征，再经过两次3
×
3的无填充卷积和ReLU激活函数，为分割提供梯度等精细特征。每一次上采样过程使得图像放大为原来的两倍，通道数减半。
[0014]本专利技术中，所述收缩路径与扩张路径的联系方式为，将扩张路径上每一个模块中转置卷积的结果和对应高度上收缩路径卷积模块的结果进行相加，作为该扩张路径模块中两次3
×
3的无填充卷积的输入。
[0015]本专利技术设计了一个带权重的多分类交叉熵函数作为损失函数，定义为网络输出的预测图像，y
i
为分割目标的真实标签，i＝1,2,3,j＝1,2,3，分别对应左心房、左心室和二尖瓣。首先使用softmax函数计算网络输出图像得到对类别预测的概率分布如式(1)。目标分布和预测分布的交叉熵H如式(2)。由于分割目标的真实标签y
i
的类别是已知的，且一定只属于y
i
类别，属于y
j
,j≠i的概率为0。将真实标签y
i
重新编码成one
‑
hot形式，交叉熵H只需要计算预测图象与真实标签类别对应的值，得到如式(3)所示的类别损失
[0016][0017][0018][0019]其中，∑表示累加符号，ln表示以自然常数e为底数的对数。
[0020]网络的损失函数设为每个类别损失的加权和，如式(4)：
[0021][0022]其中，为网络输出的预测图像；i＝1，2，3分别表示左心房、左心室和二尖瓣；ω
A
、ω
V
、ω
M
分别表示左心房、左心室和二尖瓣的损失权重值。
[0023]考虑到在本专利技术中，二尖瓣区域远小于左心房和左心室，且位置变化范围更大，损失函数取比左心房和左心室更大的权重值，使网络模型更注重于二尖瓣位置，具体地，ω
A
,ω
V
,v
M
分别取1，1，4，如式(5)：
[0024][0025]本专利技术设计了一个深度学习网络模型实现超声心动图三个心腔切面(心尖两腔、心尖三腔、心尖四腔)下三类别(左心房、左心室、二尖瓣)的同时分割，且输入为心动周期中任意时刻的图像，整个过程完全自动,且具有准确高效的特点，满足实现MR分型的参数需求。
附图说明
[0026]图1.为典型超声心动图图像及标注。其中，每一行是不同的心尖切面，(a)、(d)、(g)为心尖两腔，(b)、(e)、(h)为心尖三腔，(c)、(f)、(i)为心尖四腔；图中每一列是不同目标类别的标注，(a)、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的超声心动图左心房、左心室和二尖瓣的分割方法，其特征在于，根据超声心动图的图像特征，设计深度学习卷积网络和用于预测的损失函数；在输入为心动周期中任意时刻的超声心动图像时，自动分割左心房、左心室和二尖瓣，并将结果映射到超声心动图原始图像上；所述深度学习卷积网络，是一个端到端的超声心动图多类别语义分割网络；具体采用UNet结构作为网络模型的主干，架构包括三部分：收缩路径，扩张路径，深监督机制；其中：收缩路径使用VGG16网络进行图像特征提取；使网络能够提取图像中更低分辨率的特征；收缩路径提取到的初步特征将作为后续分割任务的输入；扩张路径使用跳层连接和转置卷积进行图像还原；其中融合不同尺度的图像特征来补充高分辨率信息；深监督机制用于约束网络中间层，充分利用网络中所有分辨率的信息，得到多尺度的特征融合；所述损失函数，是一个带权重的多分类交叉熵函数，根据超声心动图的图像特征，对二尖瓣、左心房和左心室的类别损失取不同的权重值，使网络模型更注重于二尖瓣位置。2.根据权利要求1所述的分割方法，其特征在于，所述用于图像特征的提取的VGG16网络，相比原始的UNet网络，增加了一个卷积模块，每个模块中增加一次3
×
3的无填充卷积，再经过ReLU激活函数，以及尺寸为2
×
2的最大池化操作；每一次下采样过程使得通道数变为原来的两倍，相应的特征图像尺寸缩小为原来的一半。3.根据权利要求2所述的分割方法，其特征在于，所述扩张路径共有五个模块，每个模块中先使用转置卷积进行上采样过程，通过跳层连接融合收缩路径对应高度的图像特征，再...

【专利技术属性】
技术研发人员：邬小玫，黄何霖，葛振一，潘翠珍，
申请(专利权)人：复旦大学，
类型：发明
国别省市：