一种基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法及装置制造方法及图纸

本发明专利技术公开了一种基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法及装置，结合深度学习，即通过U

【技术实现步骤摘要】
一种基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法及装置


[0001]本专利技术专利涉及医学图像分析
，具体地说，是一种基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法及装置。

技术介绍

[0002]心肌梗死一般指冠状动脉持续性缺血缺氧所引起的心肌坏死。急性期临床上多表现为剧烈而持久的胸骨后疼痛，休息及硝酸酯类药物不能完全缓解，伴有血清心肌酶活性增高及进行性心电图变化，可并发心律失常、休克或心力衰竭，常可危及生命。2005年以来，急性心梗死亡率呈快速增长趋势，缺血性心肌病增长90％，预计2016
‑
2030年死亡人数将近千万(中国心血管病报告2018)。心脏磁共振可以直观评价心肌收缩功能、心肌形变等特征，对于心肌梗死的预防、诊断具有重要的意义。
[0003]在临床工作中，钆剂延迟增强(LGE)
‑
心脏核磁共振成像(CMR)被认为是目前在体无创性检测梗死区域的金标准。然而，这种方式存在一定的危险，因为钆造影剂是慢性终末期肾病患者的禁忌症。根据美国肾脏数据系统，超过40％的慢性肾脏病患者患有心血管疾病，而大约20％的心肌梗死患者伴有慢性肾病。此外，最近的研究表明，钆剂可能会沉积在肾功能正常患者的皮肤、齿状核和苍白球中。因此，若在没有造影剂的情况下直接识别心肌梗死区域将会是一个巨大的临床进步，不仅可用于识别心肌梗死的存在、位置和透壁范围，还可以预测缺血性心脏病中功能障碍心肌节段的恢复。
[0004]在深度学习技术出现前，主要有三种方法用于无造影剂的心肌梗死区域分割。其中第一种方法，如Noble等人2002年在《医学与生物学中的超声波》提出的统计学图像序列对齐方法，建立了核磁共振图像帧之间的对应关系，并通过计算心肌的位移，从图像序列中快速提取运动特征。第二种方法是Shi和Liu于2003年在《医学影像分析》杂志上发表的，引入了不同的正则化策略来从医学图像序列中估计心脏运动。第三种方法是Hufnagel等人2008年在《国际计算机辅助放射外科杂志》上提出的统计形状建模方法，其试图通过建模可能的运动和形状的统计表示来引入先验知识来克服数据的内在复杂性。
[0005]尽管上述方法在一定程度上取得了成功，但在应用于临床环境中仍存在一些问题。
[0006]由于深度学习技术的蓬勃发展，近几年深度学习在心脏核磁共振成像(CMRI)的处理的应用显著增加，尤其是在心脏结构分割方面。也有研究组尝试将深度学习用于无造影剂的心肌梗死分割，通过深度学习来检测心脏的形态学和运动学异常，从而进行心肌梗死的识别和定位。
[0007]2017年，在第八届心脏统计图谱和计算模型国际研讨会上，Khened等人提出了一种全自动的深度学习网络。训练数据经过傅里叶分析处理用于感兴趣区域提取，通过使用双重成本函数(即加权交叉熵和Dice系数)进行训练来优化网络的参数，从而实现使用密集卷积神经网络(DenseNet)从心脏磁共振(MR)图像中分割左心室、右心室和心肌。将提取的
11个心肌特征参数使用随机森林分类器于自动心脏病诊断，可以初步诊断出患者是否患有扩张型心肌病(DCM)、肥厚型心肌病(HCM)、心肌梗塞(MNF)等疾病。
[0008]2018年，Baessler等人在《放射学》杂志和发表文章，基于再现性、机器学习和相关分析，采用逐步降维和纹理特征选择来选择特征，以延迟增强(DE)图片为参考标准，对无造影剂CMRI图像进行心肌梗死诊断。该实验表明，对无造影剂CMRI图像进行纹理分析，可以区分心肌梗死导致的缺血性瘢痕和正常心肌，从而可以诊断亚急性和慢性心肌梗死，具有较高的准确性。其为之后通过学习梗死区域的像素特征来诊断心肌梗死奠定了基础。
[0009]2018年，Xu等人在《医学影像分析》杂志发表了一种新的联合运动特征学习架构。该架构由三个无缝连接的功能层组成：心脏定位层利用Faster R
‑
CNN，可以自动从心脏成像序列中裁剪涉及左心室的感兴趣区域序列；运动特征提取层，使用长短期记忆循环神经网络(LSTM)，通过固定大小的像素块序列(从图像序列中裁剪)之间的局部强度变化来构建基于补丁的运动特征，使用光流技术通过相邻图像之间的全局强度变化来构建基于图像的特征来描述每个像素的运动；全连接的鉴别层可以将每个像素中的两种运动特征组合在一起，然后在每个像素中建立运动特征与组织身份(即是否存在梗死)之间的对应关系，由此可以实现像素级别的心肌梗死区域分割。
[0010]2019年，Chen等人在《IEEE Access》杂志上提出了一个深度学习约束框架，集成光流特征用于医学图像序列的心肌梗死，该框架由两个阶段组成。在第一阶段，首先，通过在左心室心肌区滑动一个固定大小的窗口，获得固定大小的静态像素块，利用光流法提取同一位置的运动信息，通过最小化目标函数和平方误差来训练基本的自动编码器(SDAE)，利用训练好的堆叠去噪自动编码器提取像素块的强度和运动特征，并加入高斯噪声进行反复训练优化，最后获得包含两个隐藏层的SDAE。第二阶段，从第二个SDAE隐藏层中提取固定长度特征，通过延迟增强图片生成这个像素块是否为梗死的标签，由支持向量机(SVM)对其进行梗死和非梗死的分类。
[0011]2021年，Manchio等人在《欧洲心脏杂志
‑
心血管成像杂志》杂志上发表了关于肥厚型心肌病(HCM)的机器学习研究，因为HCM的瘢痕组织和心肌梗死后修复的组织是一样的，所以其与我们的研究相通。该研究使用10倍交叉验证的XGBoost模型，从全部2613个特征中，提取7个最重要的特征。最后研究发现，因为HCM而存在替代性纤维化可以通过其较高的信号心肌强度、纹理异质性和粗糙性、较低的心肌体积和减少的心肌壁增厚来识别。这为我们研究心肌梗死(MI)的特征提取部分提供了参考思路。
[0012](1)使用钆造影剂的心肌梗死区域分割的缺点：这种方式存在一定的危险，因为钆造影剂对慢性终末期肾病患者是致命的，而大约20％的急性心肌梗死患者伴有慢性肾病。
[0013](2)不采用深度学习的无造影剂心肌梗死区域分割方法缺点：首先，分段建立
‑
对应计算应变是一个复杂的过程，这可能是一个限制因素。其次，这些方法既费时又繁琐，需要使用仔细的建模技术。此外，心脏复杂的时空运动可能会导致实施困难。
[0014](3)结合光流法和LSTM的像素级心肌梗死区域分割方法缺点：整个过程是复杂的，每一步的误差都会导致后续的连续影响。另外，该模型不仅需要大量的标签校准，还包含了大量的参数，需要超过138M的参数。并且其只能对心肌中间层面有效，会浪费其它层面的影像。
[0015](4)利用SDAE和SVM的心肌梗死区域分割方法缺点：只能对心肌上的10
×
10大小像
素块进行梗死和非梗死的分类，最后只能得到30个左右的像素块的分类，所以只能确定梗死的大致范围，而不够精细。并且其也只能对心肌中间层面有效，会浪费其它层面的影像。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法，其特征在于，包括：获得心脏核磁共振电影序列，通过U
‑
Net模型分割心脏核磁共振成像(CMRI)电影序列中每一帧的心肌内膜与心肌外膜；将分割好的每一帧的心肌内膜与心肌外膜二值化，得到心肌边界，提取每一帧的运动特征与像素特征，将其拼接融合，存入二维的特征矩阵中；标注二维的特征矩阵中对应序列的有钆造影剂的LGE图片的梗死区域，转化成1
×
120的向量作为心肌梗死区域标签；基于获得的二维特征矩阵和对应的心肌梗死区域标签，构建以ConvLSTM为核心的神经网络模型，所述的以ConvLSTM为核心的神经网络模型包括ConvLSTM层、卷积层、展开层、全连接层；以ConvLSTM为核心的神经网络模型中训练时，将模型输出的1
×
120的向量与真实心肌梗死区域标签进行对比，并使用二元交叉熵“binary_crossentropy”作为损失函数；使用“Adam”优化器对网络进行迭代训练，优化网络参数，当训练结束时，在测试集上检测精度，保存准确率最高的模型。2.根据权利要求1所述的基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法，其特征在于，所述的提取每一帧的运动特征具体为：提取心肌外膜边界的中点为整张图的中心点，以3度的角度间隔从中心点向外做射线，取其与心肌内膜和心肌外膜边界的交点，得到120个方向的内外膜交点坐标；所提取的运动特征为：1)内膜交点与图中心点x轴的坐标差值x1，y轴坐标差值y1，距离2)外膜交点与图中心点x轴坐标差值x2，y轴坐标差值y2，距离3)内外膜之间的交点x轴坐标差值x3，y轴坐标差值y3，距离4)内膜交点与其逆时针相邻点x轴坐标差值x4，y轴坐标差值y4，距离5)外膜交点与其逆时针相邻点x轴坐标差值x5，y轴坐标差值y5，距离通过U
‑
Net模型分割心肌内膜与心肌外膜，对心肌进行运动特征和灰度特征信息的提取，以ConvLSTM为核心的神经网络的搭建，神经网络的训练与心肌梗死区域的呈现技术。3.根据权利要求1所述的基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法，其特征在于，所述的提取每一帧的像素特征具体为：取内外膜与外膜对应角度的点，取其中点O，将点O周围25个的像素矩阵取出。4.根据权利要求1所述的基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法，其特征在于，所述的拼接融合为将心肌像素特征展开成一维向量，拼接到心肌运动特征下面。5.根据权利要求1或2或3或4所述的基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方法，基于深度学习从心脏磁共振图像序列中直接划定心肌梗死区域的方
法，其特征在于，所述的标注二维的特征矩阵中对应序列的有钆造影剂的LGE图片的梗死区域，转化成1
×
120的向量作为心肌梗死区域标签具体为：先在医生指导下在LGE图片上标记出像素级心肌梗死范...

【专利技术属性】
技术研发人员：余成进，石润州，王付言，蒲彩玲，胡红杰，宁高宁，刘华锋，
申请(专利权)人：浙江大学，
类型：发明
国别省市：