基于条件生成对抗网络的多模态MRI转换方法、系统及介质技术方案

本发明专利技术公开了一种基于条件生成对抗网络的多模态MRI转换方法、系统及介质，本发明专利技术方法包括输入原始MRI图像，将原始MRI图像输入条件生成对抗网络的编码器得到语义特征图，并通过条件生成对抗网络的鉴别器识别原始MRI图像的模态类别；针对每一种原始MRI图像的模态类别以外的其他模态：生成该模态的条件向量，将语义特征图与该模态的条件向量连接，将连接后的结果输入条件生成对抗网络的解码器得到该模态的MRI转换图，从而最终得到所有其他模态的MRI转换图。本发明专利技术是无监督的，无需配准的多模态影像即可训练，同时能保证转换生成的多模态MRI是配准的，最后还能保证转换生成的MRI完好的保留了关键的病灶信息，还可以进一步根据需要加以进行检验。

Multimodal MRI conversion method, system and medium based on condition generated countermeasure network

The invention discloses a multi-mode MRI conversion method, system and medium based on condition generation countermeasure network. The method of the invention includes inputting original MRI image, inputting original MRI image to generate encoder of countermeasure network to obtain semantic feature map, and identifying modal category of original MRI image by condition generation countermeasure network discriminator; for each original MRI image Other modes other than mode category: generate the condition vector of the mode, connect the semantic feature map with the condition vector of the mode, input the connected result into the condition, generate the decoder against the network to get the MRI conversion map of the mode, and finally get the MRI conversion map of all other modes. The invention is unsupervised and can be trained without the registration of multimodal images. At the same time, it can ensure that the multimodal MRI generated by the conversion is registered. At last, it can ensure that the MRI generated by the conversion retains the key focus information intact and can be further tested according to the needs.

【技术实现步骤摘要】
基于条件生成对抗网络的多模态MRI转换方法、系统及介质
本专利技术属于医学图像处理领域，具体涉及一种基于条件生成对抗网络的多模态MRI转换方法、系统及介质，用于根据给定模态的MRI图像和目标模态，通过条件生成对抗网络生成其他配准的多模态MRI图像。
技术介绍
核磁共振成像(MRI)是一种常见的医学影像，根据成像参数的不同可以有多种模态，例如T1、T2、T1c等。不同的模态对医生具有不同的参考价值，医生往往需要多个模态的影像互相对照才能做出准备的判断。在医学影像的智能处理任务的训练和学习中，我们往往也期望获得更多模态的影像，例如采用卷积神经网络(CNN)或生成对抗网络(GAN)进行的医学图像处理任务。对于医生来说，获取不同模态的影像需要花费更长的时间并且需要患者的耐心配合，对于医学影像的智能处理任务的研究者来说，多模态的MRI数据集十分稀缺，收集难度非常大，而配准的数据则更加稀少。条件生成对抗网络(GAN)在人脸转换等领域实现了非常惊人的转换效果，因此，我们希望设计一套基于条件生成对抗网络的方法来实现无监督的多模态MRI转换方法，通过转换本文档来自技高网...

【技术保护点】
1.一种基于条件生成对抗网络的多模态MRI转换方法，其特征在于实施步骤包括：/n1)输入原始MRI图像，将原始MRI图像输入条件生成对抗网络的编码器得到语义特征图，并通过条件生成对抗网络的鉴别器识别原始MRI图像的模态类别；/n2)针对每一种原始MRI图像的模态类别以外的其他模态：生成该模态的条件向量，将语义特征图与该模态的条件向量连接，将连接后的结果输入条件生成对抗网络的解码器得到该模态的MRI转换图，从而最终得到所有其他模态的MRI转换图。/n

【技术特征摘要】
1.一种基于条件生成对抗网络的多模态MRI转换方法，其特征在于实施步骤包括：
1)输入原始MRI图像，将原始MRI图像输入条件生成对抗网络的编码器得到语义特征图，并通过条件生成对抗网络的鉴别器识别原始MRI图像的模态类别；
2)针对每一种原始MRI图像的模态类别以外的其他模态：生成该模态的条件向量，将语义特征图与该模态的条件向量连接，将连接后的结果输入条件生成对抗网络的解码器得到该模态的MRI转换图，从而最终得到所有其他模态的MRI转换图。


2.根据权利要求1所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，步骤2)中得到该模态的MRI转换图之后还包括验证编码器以及解码器构成的模态转换器的步骤，详细步骤包括：输入一个模态的MRI并使用病灶处理器得到生成的病灶标签，再用模态转换器得到转换图，将得到该模态的MRI转换图通过病灶处理器得到生成的病灶标签图，将两个生成的病灶标签图进行比较求得均方差，如果均方差低于设定阈值，则判定MRI转换图保留了原始MRI图像的病灶信息，模态转换器验证通过；如果均方差不低于设定阈值，则判定模态转换器验证不通过，需要调整或重新设计模态转换器的网络结构并进行重新训练。


3.根据权利要求1所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，步骤2)中生成该模态的条件向量的详细步骤包括：将模态数量为C的所有模态从0开始进行整数编号，使得每一个模态对应一个整数编号；获取到条件生成对抗网络的编码器输出的语义特征图的个数N、高H和宽W，生成一个形状为[N,H,W,C]的全零矩阵，将模态数量C作为该全零矩阵的通道维度，将全零矩阵的通道维度中对该模态的第i通道上的0全部变为1，得到整数编号为i的模态的C个通道的独热条件向量作为该模态的条件向量。


4.根据权利要求1所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，步骤2)中将语义特征图、条件向量进行连接具体是指将语义特征图、独热条件向量进行通道方向上的堆叠。


5.根据权利要求4所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，所述进行通道方向上的堆叠具体是指将C个通道的独热独热条件向量堆叠在语义特征图最后一个通道之后。


6.根据权利要求1所述的基于条件生成对抗网络的多模态MRI转换方法，其特征在于，步骤1)之前还包括针对条件生成对抗网络进行模块组合训练的步骤，详细步骤包括：
S1)输入的i模态的MRI经过病灶处理器得到生成的病灶标签labeli，原始输入模态i的MRIxi对应的真实病灶标签labeli作为其监督标签，通过监督标签与生成的病灶标签labeli求得的均方差损失指导该病灶处理器的训练，病灶处理器预先完成独立训练，且在训练完成后采用该训练好的病灶处理器为后续的生成器提供损失，所述生成器由生成对抗网络的...

【专利技术属性】
技术研发人员：瞿毅力，苏琬棋，邓楚富，王莹，卢宇彤，陈志广，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44