一种基于跨模态域迁移学习的全心脏分割方法技术

本发明专利技术公开了一种基于跨模态域迁移学习的全心脏分割方法，包括以下步骤：S1，对初始的全心脏MRI图像和CT图像进行数据预处理；S2，将预处理后的图像输入模态迁移网络MTN进行数据训练，生成新的CT图像；S3，将模态迁移网络MTN生成的新的CT图像和带全心标签的CT心脏图像输入U形多注意网络MAUNet，输出中间心脏图像分割结果；S4，将中间心脏图像分割结果输入至空间配置网络SCN进行数据训练，输出最终心脏图像分割结果。本发明专利技术使用多模态数据对心脏进行分割，多模态数据因成像机理的不同而具有多层面信息，使用多模态数据对同一组织进行分割一方面可以扩充训练数据集，使更容易训练一个健壮的网络，一方面可以更好的利用多层面信息，提升分割准确率。提升分割准确率。提升分割准确率。

【技术实现步骤摘要】
一种基于跨模态域迁移学习的全心脏分割方法


[0001]本专利技术涉及一种医学影像分割
，具体地说，是涉及一种基于跨模态域迁移学习的全心脏分割方法。

技术介绍

[0002]全心脏分割旨在从心脏CT图像或心脏MRI图像中提取心脏所有子结构的体积和形状，心脏所有子结构包含左心室(LV)、左心室心肌(Myo)、右心室(RV)、左心房(LA)、右心房(RA)、升主动脉(AO)、肺动脉(PA)七个解剖结构。现有的全心脏分割算法有两类，一种是两步走方式，该方法先定位心脏所在位置，在心脏图像上裁剪出需要处理的区域，即感兴趣区域(Region Of Interest,ROI)，然后对ROI进行分割，该方法的缺点有：1)需要训练额外的模型和大量的参数；2)对单一模态的心脏进行分割，无法利用多模态图像提供的多层面信息，影响分割效果。另一种是多模态分割方式，多模态图像因为成像机理的不同而能提供多层面信息，使用多模态图像对心脏组织进行分割往往能取得更好的分割效果，但是现有的多模态分割方法往往是对心脏二维切片进行模态迁移，然后将其拼接为三维图像进行分割，这种方式在拼接过程中将会产生信息丢失，造成模态迁移的误差，影响最后的分割效果。
[0003]目前全心脏分割领域主要存在的困难有：1)医学样本的稀缺性导致训练一个健壮的分割模型是困难的；2)心脏图像的背景像素点占据了大部分区域，这将导致类别不平衡问题而影响模型收敛；3)心脏子结构边界处的像素值非常接近导致边界模糊，影响模型对这类难分像素点的分类准确率。

技术实现思路

[0004]本专利技术的目的在于提供一种基于跨模态域迁移学习的全心脏分割方法，主要解决现有心脏图像分割方法中边界像素点模糊影响分割效果的问题。
[0005]为实现上述目的，本专利技术采用的技术方案如下：
[0006]一种基于跨模态域迁移学习的全心脏分割方法，包括以下步骤：
[0007]S1，对初始的全心脏MRI图像和CT图像进行数据预处理；
[0008]S2，将预处理后的全心脏MRI图像和CT图像输入模态迁移网络MTN进行数据训练，生成新的CT图像；
[0009]S3，将模态迁移网络MTN生成的新的CT图像和原始CT心脏图像输入至具有注意门控机制和位置注意力机制的U形多注意网络MAUNet，输出中间心脏图像分割结果；
[0010]S4，将中间心脏图像分割结果输入至空间配置网络SCN进行数据训练，输出最终心脏图像分割结果。
[0011]进一步地，在所述步骤S1中，数据预处理后的全心脏MRI图像和CT图像被裁剪为128
×
128
×
128的大小。
[0012]进一步地，在所述步骤S2中，生成新的CT图像包括以下步骤：
[0013]S21，将128
×
128
×
128的大小的全心脏MRI图像和CT图像输入到模态迁移网络MTN的生成器网络；
[0014]S22，生成器网络通过一个卷积层将全心脏MRI图像和CT图像的通道数从1增加到64；
[0015]S23，通过卷积层后的全心脏MRI图像和CT图像输入卷积层连接的两个下采样层，每层将全心脏MRI图像和CT图像的通道数翻倍、图像大小缩小一半；
[0016]S24，将经过两个下采样层的全心脏MRI图像和CT图像输入到连续的9个残差层，期间图像保持大小为32
×
32
×
32，通道数为256；
[0017]S25，将大小为32
×
32
×
32，通道数为256的全心脏MRI图像和CT图像经过两个连续的上采样层恢复到输入大小；
[0018]S26，最后将恢复到输入大小的全心脏MRI图像和CT图像输入卷积层将通道数恢复为1，输出生成新的CT图像。
[0019]进一步地，在所述步骤S1中，还包括利用模态迁移网络MTN的域鉴别器网络对图像进行真假判断；具体步骤如下：
[0020]S27，将生成的新的CT图像输入到模态迁移网络MTN的域鉴别器网络中，新的CT图像经过连续三个下采样层，每层将图像大小缩小一半，第一层将通道数从1增加为64，之后每层将通道数翻倍；
[0021]S28，将经过连续三个下采样层的图像经过一个卷积层将通道数恢复为1，得到大小为16
×
16
×
16的特征图像用于鉴别器进行真假判断。
[0022]进一步地，在所述步骤S3中，输出中间心脏图像分割结果的步骤包括：
[0023]S31，将预处理后的CT图像和生成的新的CT图像裁剪为64
×
64
×
64的大小输入到U形多注意网络MAUNet的4层UNet网络中，第一层UNet网络将64
×
64
×
64的大小的图像的通道数从1转换到64，之后的每层通道数进行翻倍，每层之间进行步长为2的卷积操作，图像大小缩减一半；
[0024]S32，再对经过4层UNet网络的图像进行4次上采样操作，每次上采样图像大小翻倍，直到恢复到输入图像大小；
[0025]S33，4次上采样操作输出的图像经过一个卷积层输出8通道的图像得到每个子结构的中间心脏图像分割结果；
[0026]进一步地，在步骤S4中，输出最终心脏图像分割结果的步骤包括：
[0027]S41，将中间心脏图像分割结果输入到由1个池化层、4个卷积层和一个上采样层组成的空间配置网络SCN中；
[0028]S42，通过池化层将中间心脏图像分割结果缩小4倍；
[0029]S43，再利用3个卷积层对缩小4倍的中间心脏图像分割结果进行特征的提取，期间通道数保持在64，再通过最后1个卷积层输出8通道图像；
[0030]S44，通过上采样层对卷积层输出的图像大小进行恢复，其输出与中间心脏图像分割结果相乘得到最终分割结果。
[0031]与现有技术相比，本专利技术具有以下有益效果：
[0032](1)本专利技术使用多模态数据对心脏进行分割，多模态数据因成像机理的不同而具有多层面信息，使用多模态数据对同一组织进行分割一方面可以扩充训练数据集，使更容
易训练一个健壮的网络，一方面可以更好的利用多层面信息，提升分割准确率。
[0033](2)本专利技术将注意门控机制和位置注意力机制与的U形网络Unet进行集成形成多注意网络MAUnet，解决了心脏分割任务中类不平衡和模糊边界的问题。
[0034](3)本专利技术将空间配置网络SCN运用到多目标分割任务当中，用于学习不同子结构间的相对位置，优化分割结果。在MM
‑
WHS挑战赛提供的40张测试数据集上对该算法的效果进行了评估，平均Dice指数为0.911，平均Jaccard指数为0.837，平均豪斯多夫距离为14.386，所提出的方法在考虑所有度量的情况下获得了竞争性能，这足以证明所提出方法的有效性，其中对右心房(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于跨模态域迁移学习的全心脏分割方法，其特征在于，包括以下步骤：S1，对初始的全心脏MRI图像和CT图像进行数据预处理；S2，将预处理后的全心脏MRI图像和CT图像输入模态迁移网络MTN进行数据训练，生成新的CT图像；S3，将模态迁移网络MTN生成的新的CT图像和原始CT心脏像输入至具有注意门控机制和位置注意力机制的U形多注意网络MAUNet，输出中间心脏图像分割结果；S4，将中间心脏图像分割结果输入至空间配置网络SCN进行数据训练，输出最终心脏图像分割结果。2.根据权利要求1所述的一种基于跨模态域迁移学习的全心脏分割方法，其特征在于，在所述步骤S1中，数据预处理后的全心脏MRI图像和CT图像被裁剪为128
×
128
×
128的大小。3.根据权利要求2所述的一种基于跨模态域迁移学习的全心脏分割方法，其特征在于，在所述步骤S2中，生成新的CT图像包括以下步骤：S21，将128
×
128
×
128的大小的全心脏MRI图像和CT图像输入到模态迁移网络MTN的生成器网络；S22，生成器网络通过一个卷积层将全心脏MRI图像和CT图像的通道数从1增加到64；S23，通过卷积层后的全心脏MRI图像和CT图像输入卷积层连接的两个下采样层，每层将全心脏MRI图像和CT图像的通道数翻倍、图像大小缩小一半；S24，将经过两个下采样层的全心脏MRI图像和CT图像输入到连续的9个残差层，期间图像保持大小为32
×
32
×
32，通道数为256；S25，将大小为32
×
32
×
32，通道数为256的全心脏MRI图像和CT图像经过两个连续的上采样层恢复到输入大小；S26，最后将恢复到输入大小的全心脏MRI图像和CT图像输入卷积层将通道数恢复为1，输出生成新的CT图像。4.根据权利要求3所述的一种基于跨模态域迁移学习的全心脏分割方法...

【专利技术属性】
技术研发人员：丁熠，母丹，秦臻，曹明生，周尔强，庞明辉，秦志光，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：