基于模块化GAN的多模态MRI与多模态CT的转换方法、系统及介质技术方案

本发明专利技术公开了一种基于模块化GAN的多模态MRI与多模态CT的转换方法、系统及介质，本发明专利技术转换方法包括根据所需执行的任务类型，选择GAN网络中训练好的模块来进行CT图‑CT图模态转换、CT图‑MRI图模态转换、MRI图‑MRI图模态转换、MRI图‑CT图模态转换、CT图‑MRI病灶任务转换、MRI图‑CT病灶任务。本发明专利技术考虑到MRI和CT内部子模态十分相似但MRI与CT两个模态又有巨大差异的情况，提出了一种采用模块化的条件GAN的转换方法，本发明专利技术可采用无监督学习方法，训练数据无需配准，在无需训练多个GAN的情况下能便利高校的实现单模态转换生成配准的多模态MRI和CT图。

【技术实现步骤摘要】
基于模块化GAN的多模态MRI与多模态CT的转换方法、系统及介质
本专利技术涉及医学图像处理领域，具体涉及一种基于模块化GAN的多模态MRI与多模态CT的转换方法、系统及介质，可用于根据给定模态的MRI或CT图和目标模态，通过条件生成对抗网络生成配准的多模态MRI和CT图。
技术介绍
医学影像有很多的模态，例如核磁共振影像(MRI)、超声波、CT等等。MRI可以再细分出T1、T2、T1w、T2w等不同对比度的子模态，CT也可以根据不同的照射剂量得到不同的子模态图像。相较于单模态数据，配准的多模态影像数据能提供更多的信息。然而，配准的多模态医学影像的采集代价很高。因此，通过应用图像合成技术扩展数据集，从已有的单模态图像转换为配准的多模态图像，有着广泛的用途和深远的意义。一些研究采用全卷积神经网络(FCN)或者生成对抗网络(GAN)来进行医学图像的转换。FCN需要配准的多模态数据集来进行有监督学习，这带来了极大的限制。GAN可以实现无监督学习，通常包含一个生成器和鉴别器，生成器实现模态的转换生成，鉴别器为生成器提供一个对抗性损失指导其生成的图像更加真实。在使用GAN进行多模态医学图像转换时，一种思路是训练多个GAN，每个GAN负责一项转换任务，另一种思路是采用条件GAN，在模态输入时加入目标模态的指向信息，通过不同的条件指向来训练生成器实现不同的转换任务。当前的基于条件GAN的多域转换方法只适用于MRI或CT内部各个十分相似的子模态的转换。采用两个GAN实现的MRI与CT双模态的转换的方法在扩展到多模态时代价昂贵。而配准的多模态MRI和多模态CT的转换尚无相关的成熟研究。
技术实现思路
本专利技术要解决的技术问题：针对现有技术的上述问题，提供一种基于模块化GAN的多模态MRI与多模态CT的转换方法、系统及介质，本专利技术考虑到MRI和CT内部子模态十分相似但MRI与CT两个模态又有巨大差异的情况，提出了一种采用模块化的条件GAN的转换方法，本专利技术可采用无监督学习方法，训练数据无需配准，在无需训练多个GAN的情况下能便利高校的实现单模态转换生成配准的多模态MRI和CT图。为了解决上述技术问题，本专利技术采用的技术方案为：一种基于模块化GAN的多模态MRI与多模态CT的转换方法，实施步骤包括：1)判断需要执行的任务类型，若该任务为CT图-CT图模态转换则跳转执行步骤2)，为CT图-MRI图模态转换则跳转执行步骤3)，为MRI图-MRI图模态转换则跳转执行步骤4)，为MRI图-CT图模态转换则跳转执行步骤5)，为CT图-MRI病灶任务转换则跳转执行步骤6)，为MRI图-CT病灶任务转换则跳转执行步骤7)；2)将完成训练后的GAN网络中的CT模态编码器与CT模态解码器组合可以得到一个CT内部多模态转换器，通过CT内部多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成CT图；退出；3)将完成训练后的GAN网络中的CT模态编码器与MRI模态解码器组合可以得到一个CT-MRI多模态转换器，通过CT-MRI多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成MRI图；退出；4)将完成训练后的GAN网络中的MRI模态编码器与MRI模态解码器组合可以得到一个MRI内部多模态转换器，通过MRI内部多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成MRI图；退出；5)将完成训练后的GAN网络中的MRI模态编码器与CT模态解码器组合可以得到一个MRI-CT多模态转换器，通过MRI-CT多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成CT图；退出；6)将完成训练后的GAN网络中的CT模态编码器与MRI病灶任务解码器组合即可得到一个MRI病灶任务处理器，通过MRI病灶任务处理器将输入的任意模态的CT图通转换生成MRI病灶任务；退出；7)将完成训练后的GAN网络中的MRI模态编码器与CT病灶任务解码器组合即可得到一个CT病灶任务处理器，通过CT病灶任务处理器将输入的任意模态的MRI图通转换生成CT病灶任务。可选地，步骤2)中通过CT内部多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成图的步骤包括：将任意模态的CT图通过CT内部多模态转换器的CT模态编码器编码得到语义特征图，再与用于选定目标模态的独热条件向量通道向堆叠，最后通过CT内部多模态转换器的CT模态解码器转换生成目标模态的转换生成CT图，且该转换生成CT图的病灶标签为CT病灶任务的标签labelx。可选地，步骤3)中通过CT-MRI多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成MRI图的步骤包括：将任意模态的CT图通过CT-MRI多模态转换器的CT模态编码器编码得到语义特征图，再与用于选定目标模态的独热条件向量通道向堆叠，最后通过CT-MRI多模态转换器的MRI模态解码器转换生成目标模态的转换生成MRI图，且该转换生成MRI图的病灶标签为MRI病灶任务的标签labely。可选地，步骤4)中通过MRI内部多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成图的步骤包括：将任意模态的MRI图通过MRI内部多模态转换器的MRI模态编码器编码得到语义特征图，再与用于选定目标模态的独热条件向量通道向堆叠，最后通过MRI内部多模态转换器的MRI模态解码器转换生成目标模态的转换生成MRI图，且该转换生成MRI图的病灶标签为MRI病灶任务的标签labely。可选地，步骤5)中通过MRI-CT多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成CT图的步骤包括：将任意模态的MRI图通过MRI-CT多模态转换器的MRI模态编码器编码得到语义特征图，再与用于选定目标模态的独热条件向量通道向堆叠，最后通过MRI-CT多模态转换器的CT模态解码器转换生成目标模态的转换生成CT图，且该转换生成CT图的病灶标签为MRI病灶任务的标签labely。可选地，步骤6)中通过MRI病灶任务处理器将输入的任意模态的CT图通转换生成MRI病灶任务的步骤包括：将任意模态的CT图通过MRI病灶任务处理器的CT模态编码器编码得到语义特征图，再通过MRI病灶任务处理器的MRI病灶任务解码器生成MRI病灶任务，且该MRI病灶任务的病灶标签为labely。可选地，步骤7)中通过CT病灶任务处理器将输入的任意模态的MRI图通转换生成CT病灶任务的步骤包括：将任意模态的MRI图通过CT病灶任务处理器的MRI模态编码器编码得到语义特征图，再通过CT病灶任务处理器的CT病灶任务解码器生成CT病灶任务，且该MRI病灶任务的病灶标签为labelx。可选地，步骤1)之前还包括训练GAN网络的步骤，详细步骤包括：S1)设计GAN网络的各个部件，所述GAN网络的各个部件包括一个MRI模态编码器、一个CT模态编码器、一个MRI模态解码器、一个CT模态解码器、一个MRI病灶任务解码器、一个CT病灶任务解码器、一个模态鉴别器和一个本文档来自技高网...

【技术保护点】
1.一种基于模块化GAN的多模态MRI与多模态CT的转换方法，其特征在于实施步骤包括：/n1)判断需要执行的任务类型，若该任务为CT图-CT图模态转换则跳转执行步骤2)，为CT图-MRI图模态转换则跳转执行步骤3)，为MRI图-MRI图模态转换则跳转执行步骤4)，为MRI图-CT图模态转换则跳转执行步骤5)，为CT图-MRI病灶任务转换则跳转执行步骤6)，为MRI图-CT病灶任务转换则跳转执行步骤7)；/n2)将完成训练后的GAN网络中的CT模态编码器与CT模态解码器组合可以得到一个CT内部多模态转换器，通过CT内部多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成CT图；退出；/n3)将完成训练后的GAN网络中的CT模态编码器与MRI模态解码器组合可以得到一个CT-MRI多模态转换器，通过CT-MRI多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成MRI图；退出；/n4)将完成训练后的GAN网络中的MRI模态编码器与MRI模态解码器组合可以得到一个MRI内部多模态转换器，通过MRI内部多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成MRI图；退出；/n5)将完成训练后的GAN网络中的MRI模态编码器与CT模态解码器组合可以得到一个MRI-CT多模态转换器，通过MRI-CT多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成CT图；退出；/n6)将完成训练后的GAN网络中的CT模态编码器与MRI病灶任务解码器组合即可得到一个MRI病灶任务处理器，通过MRI病灶任务处理器将输入的任意模态的CT图通转换生成MRI病灶任务；退出；/n7)将完成训练后的GAN网络中的MRI模态编码器与CT病灶任务解码器组合即可得到一个CT病灶任务处理器，通过CT病灶任务处理器将输入的任意模态的MRI图通转换生成CT病灶任务。/n...

【技术特征摘要】
1.一种基于模块化GAN的多模态MRI与多模态CT的转换方法，其特征在于实施步骤包括：
1)判断需要执行的任务类型，若该任务为CT图-CT图模态转换则跳转执行步骤2)，为CT图-MRI图模态转换则跳转执行步骤3)，为MRI图-MRI图模态转换则跳转执行步骤4)，为MRI图-CT图模态转换则跳转执行步骤5)，为CT图-MRI病灶任务转换则跳转执行步骤6)，为MRI图-CT病灶任务转换则跳转执行步骤7)；
2)将完成训练后的GAN网络中的CT模态编码器与CT模态解码器组合可以得到一个CT内部多模态转换器，通过CT内部多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成CT图；退出；
3)将完成训练后的GAN网络中的CT模态编码器与MRI模态解码器组合可以得到一个CT-MRI多模态转换器，通过CT-MRI多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成MRI图；退出；
4)将完成训练后的GAN网络中的MRI模态编码器与MRI模态解码器组合可以得到一个MRI内部多模态转换器，通过MRI内部多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成MRI图；退出；
5)将完成训练后的GAN网络中的MRI模态编码器与CT模态解码器组合可以得到一个MRI-CT多模态转换器，通过MRI-CT多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成CT图；退出；
6)将完成训练后的GAN网络中的CT模态编码器与MRI病灶任务解码器组合即可得到一个MRI病灶任务处理器，通过MRI病灶任务处理器将输入的任意模态的CT图通转换生成MRI病灶任务；退出；
7)将完成训练后的GAN网络中的MRI模态编码器与CT病灶任务解码器组合即可得到一个CT病灶任务处理器，通过CT病灶任务处理器将输入的任意模态的MRI图通转换生成CT病灶任务。


2.根据权利要求1所述的基于模块化GAN的多模态MRI与多模态CT的转换方法，其特征在于，步骤2)中通过CT内部多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成图的步骤包括：将任意模态的CT图通过CT内部多模态转换器的CT模态编码器编码得到语义特征图，再与用于选定目标模态的独热条件向量通道向堆叠，最后通过CT内部多模态转换器的CT模态解码器转换生成目标模态的转换生成CT图，且该转换生成CT图的病灶标签为CT病灶任务的标签labelx。


3.根据权利要求1所述的基于模块化GAN的多模态MRI与多模态CT的转换方法，其特征在于，步骤3)中通过CT-MRI多模态转换器将输入的任意模态的CT图通转换生成目标模态的转换生成MRI图的步骤包括：将任意模态的CT图通过CT-MRI多模态转换器的CT模态编码器编码得到语义特征图，再与用于选定目标模态的独热条件向量通道向堆叠，最后通过CT-MRI多模态转换器的MRI模态解码器转换生成目标模态的转换生成MRI图，且该转换生成MRI图的病灶标签为MRI病灶任务的标签labely。


4.根据权利要求1所述的基于模块化GAN的多模态MRI与多模态CT的转换方法，其特征在于，步骤4)中通过MRI内部多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成图的步骤包括：将任意模态的MRI图通过MRI内部多模态转换器的MRI模态编码器编码得到语义特征图，再与用于选定目标模态的独热条件向量通道向堆叠，最后通过MRI内部多模态转换器的MRI模态解码器转换生成目标模态的转换生成MRI图，且该转换生成MRI图的病灶标签为MRI病灶任务的标签labely。


5.根据权利要求1所述的基于模块化GAN的多模态MRI与多模态CT的转换方法，其特征在于，步骤5)中通过MRI-CT多模态转换器将输入的任意模态的MRI图通转换生成目标模态的转换生成CT图的步骤包括：将任意模态的MRI图通过MRI-CT多模态转换器的MRI模态编码器编码得到语义特征图，再与用于选定目标模态的独热条...

【专利技术属性】
技术研发人员：瞿毅力，苏琬棋，邓楚富，王莹，卢宇彤，陈志广，肖侬，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44