深度学习网络结构及多标签主动脉夹层CT图像分割方法技术

本发明专利技术公开一种深度学习网络结构及多标签主动脉夹层CT图像分割方法，其中，深度学习网络结构利用序列特征金字塔注意模块，关联不同尺度的CT图像序列特征，通过探索切片间的相关性，指导当前图像分割。同时，在网络的解码器中联合空间注意力模块和通道注意力模块，加强模型对目标区域的定位精确度以及特征的利用率。其次，本发明专利技术的多标签主动脉夹层CT图像分割方法，针对主动脉夹层多标签分割的类间关系，设计了多标签分类器以及相应的二元混合损失函数，在端到端的网络上实现多标签分割。本发明专利技术的深度学习网络结构对主动脉夹层快速筛查、诊断和评估有巨大的临床应用价值。诊断和评估有巨大的临床应用价值。诊断和评估有巨大的临床应用价值。

【技术实现步骤摘要】
深度学习网络结构及多标签主动脉夹层CT图像分割方法


[0001]本专利技术属于医学图像处理
，具体涉及一种深度学习网络结构，以及应用该深度学习网络结构的基于多标签的主动脉夹层CT图像分割方法，CT图像分割方法用于针对人体胸腹腔CT扫描图像中主动脉夹层(AD)的分割提取。

技术介绍

[0002]主动脉夹层(AD)是主动脉疾病中常见的灾难性病变。其发病原理是主动脉受到一些原因导致的撕裂，而主动脉内的血液会随着撕裂口进入主动脉中膜，使得中膜分离，形成主动脉夹层血肿
[1]。主动脉患者如果抢救不及时，极易出现死亡。数据显示，主动脉夹层48小时内死亡率高达50％
[2]。因此对主动脉夹层患者的迅速、及时和有效的诊断、评价和治疗是重中之重。
[0003]计算机层断扫描(CT)是一种快速、无创的主动脉夹层诊断方法，并且可以通过增强造影图像识别真假腔的剥离程度
[3]。但是以手工标记CT图像的夹层病变区域以及区分真假腔区域是一项非常繁琐且耗时的工作。此外，放射科医生对病变区域的标注容易受到主观因素的干扰，以及放射科医生水平的参差不齐，影响病情的诊断。CT图像自动标注主动脉夹层病灶位置对医生的诊断和治疗有极大的参考价值，并且能够很大程度节约诊断的时间，以免延误治疗。
[0004]目前，基于深度学习
[4][5]的图像分割算法已经被设计用来分割CT图像中的病灶。FCN[4](Fully Convolutional Networks)最早由Long等人提出用于图像分割。FCN没有全连接层，可以接受任意大小的图像输入。全卷积神经网络的提出为后续基于深度学习的图像分割算法奠定了基础。目前，最常用的医学图像分割网络结构是Ronneberger
[5]等提出的U
‑
Net，结合相同数量的上采样和下采样层，使用远跳链接将深层的特征和浅层特征融合在一起，恢复下采样过程中丢失的空间信息，从而提高分割精度。随着网络结构的改进
[6]，将改进的网络结构应用到分割网络中也取得了不错的效果。例如：CE
‑
Net
[7]将Resnet
[6]加入编码结构中，并且提出了密集空洞卷积模块，获取更多的高级信息，并保留空间信息，用于二维医学图像分割。Fan
[8]等将Res2Net
[9]引入网络，加入了并行部分解码器和显示边缘注意力来对边界建模，增强表达能力，并用于COVID
‑
19的肺炎感染区域分割。Li
[10]等将空洞卷积引入网络，用于对心脏左心室分割。
[0005]尽管出现了许多用于医学图像分割的深度学习算法，但是，从CT图像中分割主动脉夹层的研究相对较少。由于存在以下几个难点：1)主动脉夹层的真假腔在主动脉中的位置变化多端，判定较为复杂，从单张CT上难以分辨出，需要结合CT序列图像进行分析，如图1所示。2)分割目标尺度变化较大，容易造成各类间的不平衡。比如内膜片形状细长，容易导致分割结果呈现假阴性，而肺部分割区域相对较大。3)主动脉夹层分割不同类别有重叠区域，并且存在类间关联。例如：主动脉区域和真假腔区域重叠，内膜片与真假腔区域重叠。医学图像分割算法和语义分割算法大都只考虑单标签分割或使用多阶段网络实现多标签分割
[11]，没有考虑端到端的模型实现多标签分割。
[0006]其中，所引用的文献列表如下：
[0007][1]Yuan，X.，&Nienaber，C.A..(2019).Aortic dissection.Heart(British Cardiac Society).
[0008][2]Siegal，E.M..(2012).Acute aortic dissection.Journal of Hospital Medicine，42(1)，11
‑
18.
[0009][3]Hebballi，R.，&Swanevelder，J.(2009).Diagnosis and management of aortic dissection.Continuing education in anaesthesia，critical care&pain，9(1)，14
‑
18.
[0010][4]Long，J.，Shelhamer，E.，&Darrell，T.(2015).Fully convolutional networks for semantic segmentation.In Proceedings of the IEEE conference on computer vision and pattern recognition(pp.3431
‑
3440).
[0011][5]Ronneberger O，Fischer P，Brox T.U
‑
net:Convolutional networks for biomedical image segmentation[C].International Conference on Medical image computing and computer
‑
assisted intervention.Springer，Cham，2015:234
‑
241.
[0012][6]He，K.，Zhang，X.，Ren，S.，&Sun，J.(2016).Deep residual learning for image recognition.In Proceedings of the IEEE conference on computer vision and pattern recognition(pp.770
‑
778).
[0013][7]Gu，Z.，Cheng，J.，Fu，H.，Zhou，K.，Hao，H.，Zhao，Y.，...&Liu，J.(2019).Ce
‑
net:Context encoder network for 2d medical image segmentation.IEEE transactions on medical imaging，38(10)，2281
‑
2292.
[0014][8]Fan，D.P.，Zhou，T.，Ji，G.P.，Zhou，Y.，Chen，G.，Fu，H.，...&Shao，L.(2020).Inf
‑
net:Automatic covid
‑
19 lung infection segmentation from ct images.IEEE Transactions on Medical Imaging，39(8)，2626
‑...

【技术保护点】

【技术特征摘要】
1.一种深度学习网络结构，其特征在于：包括编码器模块、SA空间注意力模块、序列特征金字塔注意力SFPA模块、以及带有CA通道注意力模块的解码器模块，所述编码器模块提取CT体积内连续图像特征进行下采样形成不同尺度的特征图，将编码器模块最后一层输出特征输入序列特征金字塔注意力SFPA模块提取不同尺度的序列特征信息；将编码器模块输出的卷积层特征输入SA空间注意力模块筛选编码器输出的不同尺度的浅层特征，并与深层特征拼接；CA通道注意力模块和SA空间注意力模块相配合，将拼接后的特征进行通道方向校准。2.根据权利要求1所述的一种深度学习网络结构，其特征在于：所述编码器模块采用预训练模型ResNeSt
‑
50实现。3.根据权利要求1所述的一种深度学习网络结构，其特征在于：所述序列特征金字塔注意力SFPA模块和SA空间注意力模块相配合，将其输出的深层特征与不同尺度的浅层特征进行关联，获得不同尺度的CT图像序列特征，具体包括：将最末尾的浅层特征与序列特征金字塔注意力SFPA模块中输出的深层特征拼接形成次一深层特征，将下一层的浅层特征与次一深层特征拼接形成次二深层特征，依次类推得到最终融合了不同尺度的序列特征信息的拼接后的特征；然后解码器模块通过CA通道注意力模块对SA空间注意力模块和和SA空间注意力模块配合输出的拼接后的特征进行通道方向的校准。4.根据权利要求1所述的一种深度学习网络结构，其特征在于：所述序列特征金字塔注意力SFPA模块和SA空间注意力模块相配合，将其输出的深层特征与不同尺度的浅层特征进行关联，获得不同尺度的CT图像序列特征，其操作过程具体包括：将编码器模块输出的卷积层记为第一卷积层layer1、第二卷积层layer2、第三卷积层layer3、
……
、第n
‑
1卷积层layer(n
‑
1)(n为自然数)，第n卷积层layern(n为自然数，n＞1)；将第n卷积层layern的特征输入序列特征金字塔注意力SFPA模块得到深层特征；将第二卷积层layer2至第n
‑
1卷积层layer(n
‑
1)(n为自然数)分别输入第一个SA空间注意力模块、第二个SA空间注意力模块、
……
、第(n
‑
2)个SA空间注意力模块，第(n
‑
2)个SA空间注意力模块输出浅层特征，并与序列特征金字塔注意力SFPA模块输出的深层特征拼接形成第二深层特征，第二深层特征经过CA通道注意力模块进行通道方向的校准后与第(n
‑
3)个SA空间注意力模块输出的浅层特征进行拼接，形成第三深层特征，依次类推，直至第一个SA空间注意力模块输出的浅层特征拼接完成。5.根据权利要求1所述的一种深度...

【专利技术属性】
技术研发人员：秦姣华，周青阳，向旭宇，谭云，侯贵敏，
申请(专利权)人：中南林业科技大学，
类型：发明
国别省市：