一种基于注意力深度特征重建的脑MR图像分割方法技术

本发明专利技术涉及一种基于注意力深度特征重建的脑MR图像分割方法，包括步骤：S1、获取T1、T2和FLAIR三个模态的脑MR图像数据；S2、对获取到的三个模态的脑MR图像数据进行预处理，得到数据增强的三个模态的脑MR图像数据；S3、将S2中得到的三个模态的脑MR图像数据输入深度编码模型中得到三个模态的脑MR图像卷积特征数据；S4、将S3中获得的三个模态的脑MR图像卷积特征数据输入空间自注意力模块SAM，获得空间自注意力模块修正后的综合各模态的脑MR图像卷积特征数据；本发明专利技术提供的图像分割方法通过空间自注意力模块计算任意两个位置之间的交互关系，捕获特征远程依赖性，深度特征重建模块使用深度特征对不同层级的特征进行重新加权，保持不同层级特征的一致性。

A Method of Brain MR Image Segmentation Based on Attention Depth Feature Reconstruction

【技术实现步骤摘要】
一种基于注意力深度特征重建的脑MR图像分割方法
本专利技术属于医学图像分割
，尤其涉及一种基于注意力深度特征重建的脑MR图像分割方法。
技术介绍
核磁共振成像(MRI)可以拍摄出高对比度、高分辨率的软组织空间图像,是进行结构性脑分析的重要方式。例如，在诊断阿尔茨海默病、癫痫等神经疾病时，需要对脑组织进行核磁共振成像，并对MR图像进行分割和相应的测量。但手动分割来完成上述功能，会非常地耗时并且需要高度的专业知识，因此，自动脑组织分割将极大地帮助医疗诊断和制定治疗计划，也是当前研究的热点。传统方法中主要使用基于图谱的方法，将待分割图像与图谱配准后进行分割。但是基于图谱实现分割通常需要经过预处理、创建图谱、图像配准和标签融合等步骤，算法的性能会受到这几个步骤中各种因素的影响。很多学者也使用经典机器学习算法进行了大量尝试。大多数基于学习的方法不需配准，而是直接使用训练好的模型对图像进行分割。然而这类方法需要进行复杂的预处理和手工制作图像特征，导致性能往往不如基于配准的方法。为了解决上述算法的问题，以卷积神经网络为代表的深度模型被广泛引入脑MR图像分割研究中。基于网络体系结构，深度学习类分割方法大致可以分为两类：基于图像块的方法和基于语义分割的方法。基于图像块的方法使用中心像素附近邻域的局部图块作为输入，在一张图像上裁剪出大量图像块，汇总所有图像块的分类信息，得到整体图像像素的密集预测。基于图像块的方法虽然能够丰富训练数据，但由于只使用局部图块，网络无法学习到空间位置信息，会限制网络性能的进一步提高。为了更好地保留图像空间信息，基于语义分割的方法-全卷积网络(FCN)被引入脑图像分割。然而，一些局限性阻碍了这种方法的有效性，首先，卷积神经网络可以提升高层次特征的抽象表示能力，但高层特征无法充分获取空间信息，在一定程度上降低了医学图像分割的定位能力。其次，卷积神经网络方法往往使用卷积等局部操作来捕获特征，重复使用局部操作导致很难对远距离像素间的关系进行强有力的建模，致使网络性能无法进一步提升。最后，解码阶段只有相邻层级的特征通过通道串联或加和的方式进行结果预测，无法很好地对不同层级的特征进行融合。
技术实现思路
(一)要解决的技术问题针对现有存在的技术问题，本专利技术提供一种基于注意力深度特征重建的脑MR图像分割方法，通过空间自注意力模块计算任意两个位置之间的交互关系，捕获特征远程依赖性，深度特征重建模块使用深度特征对不同层级的特征进行重新加权，保持不同层级特征的一致性。(二)技术方案为了达到上述目的，本专利技术采用的主要技术方案包括：一种基于注意力深度特征重建的脑MR图像分割方法，包括如下步骤：S1、获取T1、T2和FLAIR三个模态的脑MR图像数据；S2、对获取到的三个模态的脑MR图像数据进行预处理，得到数据增强的三个模态的脑MR图像数据；S3、将S2中得到的三个模态的脑MR图像数据输入深度编码模型中得到三个模态的脑MR图像卷积特征数据；S4、将S3中获得的三个模态的脑MR图像卷积特征数据输入空间自注意力模块SAM，获得空间自注意力模块修正后的综合各模态的脑MR图像卷积特征数据；S5、将S4中修正后的综合各模态的脑MR图像卷积特征数据和三个模态的脑MR图像综合层级卷积特征数据输入深度解码模型中，获得四个层级的深度解码特征数据；S6、将S5中获得的四个层级的深度解码特征数据和S4中得到的修正后的综合各模态的脑MR图像卷积特征数据进行卷积融合得到脑MR图像数据的分割图像结果。优选地，所述步骤S2还包括如下步骤：S201、对三个模态的脑MR图像数据进行均衡化处理；S202、对经过均衡化处理的三个模态的脑MR图像数据进行二维切片，堆叠连续的三个2D切片，构造伪RGB形式的图像；S203、对图像进行缩放和随机旋转的数据增强策略，分别得到数据增强的三个模态的脑MR图像数据。优选地，所述步骤S3中的深度编码模型包括：第一网络模型、第二网络模型和第三网络模型；所述第一网络模型、所述第二网络模型和所述第三网络模型的结构相同；所述第一网络模型包括四个依次链接的层级，分别为VGG-1、VGG-2、VGG-3和VGG-4。优选地，所述步骤S3中的三个模态的脑MR图像数据分别输入所述第一网络模型、所述第二网络模型和所述第三网络模型分别得到三个模态的脑MR图像卷积特征数据。优选地，所述步骤S5中的三个模态的脑MR图像综合层级卷积特征数据包括：第一综合层卷积特征数据、第二综合层级卷积特征数据、第三综合层级卷积特征数据和第四综合层级卷积特征数据。优选地，所述第一综合层级卷积数据包括：三个模态分别在入所述第一网络模型、所述第二网络模型和所述第三网络模型中的VGG-1层级的卷积特征数据；所述第二综合层级数据包括：三个模态分别在入所述第一网络模型、所述第二网络模型和所述第三网络模型中的VGG-2层级的卷积特征数据；所述第三综合层级数据包括：三个模态分别在入所述第一网络模型、所述第二网络模型和所述第三网络模型中的VGG-3层级的卷积特征数据；所述第四综合层级数据包括：三个模态分别在入所述第一网络模型、所述第二网络模型和所述第三网络模型中的VGG-4层级的卷积特征数据。优选地，所述第一综合层卷积特征数据、第二综合层级卷积特征数据、第三综合层级卷积特征数据和第四综合层级卷积特征数据分别和所述S4中修正后的综合各模态的脑MR图像卷积特征数据合为一组数据输入深度解码模型中，获得所述四份层级的深度解码特征数据。优选地，所述步骤S6中卷积融合时的损失函数为二进制交叉熵。(三)有益效果本专利技术的有益效果是：本专利技术提供的一种基于深度特征重建的脑MR图像分割方法，使用了3种模态的脑部图像作为输入，通过不同模态间的对比，提升了不同脑组织间的分割精度；本专利技术对脑MR扫描的进行2D切片，堆叠连续的3个2D切片，构造伪RGB形式的图像，适合使用预训练权重网络来进行迁移学习；本专利技术的空间自注意力模块能够直接计算任意两个位置之间的交互关系，捕获远程依赖性，更好地理解脑部组织结构并准确预测；本专利技术的深度特征重建模块采用深度特征对不同层级的特征进行重新加权，提升重要特征，抑制不重要的特征，让不同层级的特征更具有一致性。附图说明图1为本专利技术提供的一种注意力深度特征重建的脑MR图像分割方法流程示意图；图2为本专利技术提供的一种注意力深度特征重建的脑MR图像分割方法中的网络结构示意图；图3为本专利技术提供的一种注意力深度特征重建的脑MR图像分割方法中叠连续切片示意图；图4为本专利技术提供的一种注意力深度特征重建的脑MR图像分割方法中空间自注意力示意图；图5为本专利技术提供的一种注意力深度特征重建的脑MR图像分割方法中深度特征重建示意图。具体实施方式为了更好的解释本专利技术，以便于理解，下面结合附图，通过具体实施方式，对本专利技术作详细描述。如图1所示：本实施例公开了一种基于注意力深度特征重建的脑MR图像分割方法，包括如下步骤：S1、获取T1、T2和FLAIR三个模态的脑MR图像数据；S2、对获取到的三个模态的脑MR图像数据进行预处理，得到数据增强的三个模态的脑MR图像数据；S3、将S2中得到的三个模态的脑MR图像数据输入深度编码模型中得到三个模态的脑MR图像卷积特征数据；S4、将S3中获得的三个模态的脑MR图本文档来自技高网...

【技术保护点】
1.一种基于注意力深度特征重建的脑MR图像分割方法，其特征在于，包括如下步骤：S1、获取T1、T2和FLAIR三个模态的脑MR图像数据；S2、对获取到的三个模态的脑MR图像数据进行预处理，得到数据增强的三个模态的脑MR图像数据；S3、将S2中得到的三个模态的脑MR图像数据输入深度编码模型中得到三个模态的脑MR图像卷积特征数据；S4、将S3中获得的三个模态的脑MR图像卷积特征数据输入空间自注意力模块SAM，获得空间自注意力模块修正后的综合各模态的脑MR图像卷积特征数据；S5、将S4中修正后的综合各模态的脑MR图像卷积特征数据和三个模态的脑MR图像综合层级卷积特征数据输入深度解码模型中，获得四个层级的深度解码特征数据；S6、将S5中获得的四个层级的深度解码特征数据和S4中得到的修正后的综合各模态的脑MR图像卷积特征数据进行卷积融合得到脑MR图像数据的分割图像结果。

【技术特征摘要】
1.一种基于注意力深度特征重建的脑MR图像分割方法，其特征在于，包括如下步骤：S1、获取T1、T2和FLAIR三个模态的脑MR图像数据；S2、对获取到的三个模态的脑MR图像数据进行预处理，得到数据增强的三个模态的脑MR图像数据；S3、将S2中得到的三个模态的脑MR图像数据输入深度编码模型中得到三个模态的脑MR图像卷积特征数据；S4、将S3中获得的三个模态的脑MR图像卷积特征数据输入空间自注意力模块SAM，获得空间自注意力模块修正后的综合各模态的脑MR图像卷积特征数据；S5、将S4中修正后的综合各模态的脑MR图像卷积特征数据和三个模态的脑MR图像综合层级卷积特征数据输入深度解码模型中，获得四个层级的深度解码特征数据；S6、将S5中获得的四个层级的深度解码特征数据和S4中得到的修正后的综合各模态的脑MR图像卷积特征数据进行卷积融合得到脑MR图像数据的分割图像结果。2.根据权利要求1所述的分割方法，其特征在于，所述步骤S2还包括如下步骤：S201、对三个模态的脑MR图像数据进行均衡化处理；S202、对经过均衡化处理的三个模态的脑MR图像数据进行二维切片，堆叠连续的三个2D切片，构造伪RGB形式的图像；S203、对图像进行缩放和随机旋转的数据增强策略，分别得到数据增强的三个模态的脑MR图像数据。3.根据权利要求2所述的分割方法，其特征在于，所述步骤S3中的深度编码模型包括：第一网络模型、第二网络模型和第三网络模型；所述第一网络模型、所述第二网络模型和所述第三网络模型的结构相同；所述第一网络模型包括四个依次链接的层级，分别为VGG-1、VGG-2...

【专利技术属性】
技术研发人员：魏颖，齐林，刘悦，王楚媛，
申请(专利权)人：东北大学，
类型：发明
国别省市：辽宁,21