基于循环生成对抗网络的医学图像跨模态合成方法及装置制造方法及图纸

本发明专利技术涉及一种基于循环生成对抗网络的医学图像跨模态合成方法及装置。该方法及装置提出的图像预处理方法能更好的保留空间的连续性；以及提出一种新的U型鉴别器网络来实现了全局特征和局部特征提取，明显提高了合成精度；同时采用了基于内容感知的动态特征上采样模块来代替反转置卷积解决了生成图像会产生伪影的问题，从而综合达到了超过现有方法的最佳合成结果。佳合成结果。佳合成结果。

【技术实现步骤摘要】
基于循环生成对抗网络的医学图像跨模态合成方法及装置


[0001]本专利技术涉及医学图像合成领域，具体而言，涉及一种基于循环生成对抗网络的医学图像跨模态合成方法及装置。

技术介绍

[0002]多模态医学图像分别显示了相同器官的不同对比度的信息，这些信息能够为疾病诊断提供多种补充信息，帮助医生对疾病进行更好的诊断，临床检查中也常常需要同时获取多种模态的医学图像，例如，临床诊断中常会为脑部肿瘤获取T1加权MR、T2加权MR和CT等多种模态的图像。但是，为每位患者同时获取多种模态的图像需要昂贵的经济成本和时间成本。医学中有各种不同的模态图像，它们能给医生提供不同的信息，包括结构的和功能的，选不同的模态即得到不同的信息。但是获取不同的模态数据需要依靠不同的成像设备，如CT图像需要依赖X射线，MRI图像需要外部磁场，US需要超声换能器。
[0003]放射治疗对脑癌等恶性肿瘤的治疗非常有效。然而，放射治疗计划需要拍摄患者病灶的CT图像以计算放射剂量。同时，还需要对MR图像对应的空间结构进行拍照，对肿瘤组织和健康器官进行分割。然而，在临床应用中，获取配对的MR
‑
CT图像通常具有挑战性，例如：多次扫描增加了成本和辐射剂量并延迟了临床工作流程。这不可避免地导致数据集不完整，并对临床分析中的诊断和治疗质量产生不利影响。
[0004]因此，为解决数据不足的问题，跨模态医学图像合成得到了广泛的普及，从患者角度来看，跨模态图像意味着更少的扫描，更少的延迟，更低的剂量和更低的医疗费用。
[0005]目前已有大量的方法提出了多种跨模态医学图像转换模型。现有的跨模态医学图像转换模型可以大致分为基于特征匹配的跨模态图像转换算法和基于深度学习的跨模态图像转换算法。
[0006]基于特征匹配的算法主要是在原始模态和目标模态的相似区域之间建立映射，相关的算法可以大致分为基于分割的方法、基于稀疏编码的方法、基于补丁的方法和基于图集的方法。
[0007]基于深度学习的方法首先假设存在分别属于图像域X和Y的成对图像x1和y1，然后基于x1和y1在图像域X和Y之间构建非线性映射，最后将该映射用于从x2预测y2。基于深度学习的方法大致可以分为基于卷积神经网络的方法和基于生成对抗网络的方法。由于卷积神经网络具有更好的描述能力，能够自主学习图像的结构和隐藏的高级特征，其被广泛地应用在计算机视觉和图像处理任务当中。同时，使用整张图像来训练模型可以使模型能够更好地学习图片的上下文信息以及像素之间的关系。因此，目前已经有大量的基于卷积神经网络的跨模态图像转换方法。最近，生成对抗网络(Generative Adversarial Nets,GANs)被广泛地应用在图像修复和图像生成中，除此之外，跨模态图像转换任务也是生成对抗网络的主要应用。本质上来讲，基于生成对抗网络的方法主要被定义为生成器和判别器之间的最大最小化竞争。生成器被训练用来合成接近于目标图像的预测图像，判别器被用来判别预测图像和真实图像的真伪。尽管生成对抗网络在医学图像领域已经取得了相当的
发展。Hiasa综合了MRI的CT图像，并考虑了反向问题。提出了一种添加梯度一致性损失的循环生成对抗网络，以实现跨解剖区域的可靠性。随后，Zhang发现了几何效应的缓解图像估计中的失真不是通过循环损耗实现的。因此，他们还建议使用从两个分割网络获得的形状一致性损失。Yang还提出了一种结构约束循环，在对抗性和循环一致性损失的基础上增加了结构一致性损失。他们使用与图像模态无关的结构特征，将两个不同模态的图像映射到一个共同的特征域中，从而建立结构一致性。此外，还提出了一种涉及周期一致性和体素损失循环生成对抗网络，该损失不依赖于成对或未配对数据，用于从CT图像估计MRI。Peng使用cGAN(配对数据)和CycleGAN(未配对数据)合成了T1加权MRI的CT图像，并对鼻咽癌(NPC)患者队列进行了训练和测试。2021年，Grimwood使用循环生成对抗网络实现了非配对数据CT图像到US图像的转换。尽管生成对抗网络在医学图像领域已经取得了相当的发展，但是直接处理三维医学图像需要相对大量的数据和计算，最常用的方法是使用生成对抗网络模型来处理二维切片，并在后续步骤中将它们连接在一起，以重建全尺寸的三维医学图像。这些方法通常会导致相邻切片中的空间不一致。
[0008]目前最先进的方法是基于循环生成对抗网络实现跨模态转换。循环一致性的生成对抗网络用于实现2D的MR
‑
CT图像转换，该方法可以在没有配对数据集的情况下进行训练。Hiasa等人从CT图像生成MR图像，并考虑到反向生成的问题，在循环生成对抗网络基础上增加了梯度一致性损失以实现可靠性跨模态合成。随后，Zhu等人发现使用循环一致性无法减轻图像估计中的几何损失，因此，他们还建议使用从两个生成器网络获得的形状一致性损失。但是，循环生成对抗网络生成的2D切片效果很好，当这些2D切片重新构建一个3D图像时，可以明显观察到空间不一致。
[0009]一些人试图开发用于图像转换的3D循环生成对抗网络，Wang等人首先通过使用3D卷积和转置卷积将循环生成对抗网络从2D扩展到3D，以实现低剂量PET图像的高质量PET图像估计。但由于大量参数和大量计算，三维模型的训练往往不稳定。为了解决二维模型在图像合成中的局限性，提出了三维网络。然而，由于特征分布的差异以及目标函数没有根据3D特征进行具体修改，3D循环生成对抗网络在训练3D图像时有时无法收敛。EuijinJung等人使用2D生成器生成3D医学图像，但他们使用3D鉴别器，该鉴别器也依赖于3D卷积。
[0010]上述这些方法都是在生成器网络上进行改进，而鉴别器的鉴别能力并没有随之提高，会导致训练不稳定的情况。此外之前的循环生成对抗网络中上采样方法均采用的反转置卷积实现。该方法往往会因为卷积核不能被步长整除而导致在图像边缘处产生黑白伪影。

技术实现思路

[0011]本专利技术实施例提供了一种基于循环生成对抗网络的医学图像跨模态合成方法及装置，以至少解决现有医学图像合成效果不佳的技术问题。
[0012]根据本专利技术的一实施例，提供了一种基于循环生成对抗网络的医学图像跨模态合成方法，包括以下步骤：
[0013]对输入图像进行预处理，保留输入图像的空间连续性；
[0014]构建U型鉴别器，对保留空间连续性的输入图像进行全局特征和局部特征提取；
[0015]采用基于内容感知的动态特征上采样方法根据输入图像特征预测相应的上采样
核避免合成图像产生伪影。
[0016]进一步地，对输入图像进行预处理，保留输入图像的空间连续性包括：
[0017]将相邻的3张2D切片合成一张2.5D切片保留了输入图像的空间连续性同时避免了过大的计算量。
[0018]进一步地，对输入图像进行预处理，保留输入图像的空间连续性还包括：
[0019]使用CutMix进行数据扩充；CutMix增强通过切割MRI区域的一部分用CT图像的相应区域来填充而不是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于循环生成对抗网络的医学图像跨模态合成方法，其特征在于，包括以下步骤：对输入图像进行预处理，保留输入图像的空间连续性；构建U型鉴别器，对保留空间连续性的输入图像进行全局特征和局部特征提取；采用基于内容感知的动态特征上采样方法根据输入图像特征预测相应的上采样核避免合成图像产生伪影。2.根据权利要求1所述的基于循环生成对抗网络的医学图像跨模态合成方法，其特征在于，所述对输入图像进行预处理，保留输入图像的空间连续性包括：将相邻的3张2D切片合成一张2.5D切片保留了输入图像的空间连续性同时避免了过大的计算量。3.根据权利要求2所述的基于循环生成对抗网络的医学图像跨模态合成方法，其特征在于，所述对输入图像进行预处理，保留输入图像的空间连续性还包括：使用CutMix进行数据扩充；CutMix增强通过切割MRI区域的一部分用CT图像的相应区域来填充而不是填充0像素来创建合成图像。4.根据权利要求3所述的基于循环生成对抗网络的医学图像跨模态合成方法，其特征在于，所述对输入图像进行预处理，保留输入图像的空间连续性还包括：在训练过程中不出现非信息因素，从局部视图识别对象，向切割区域添加其他样本信息。5.根据权利要求1所述的基于循环生成对抗网络的医学图像跨模态合成方法，其特征在于，所述构建U型鉴别器，对保留空间连续性的输入图像进行全局特征和局部特征提取包括：构建DU
‑
CycleGAN整体网络结构，包括U
‑
net生成器和U型鉴别器；U型鉴别器包括解码器和编码器，其中编码器为PatchGAN用于将输入鉴别器的图像整体分类为真或假，解码器为U
‑
net用于在像素级别对输入图像进行分类。6.根据权利要求5所述的基于...

【专利技术属性】
技术研发人员：孙彬，贾富仓，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：