一种基于对抗生成网络的多模态医学图像编码与生成方法技术

本发明专利技术公开一种基于对抗生成网络的多模态医学图像编码与生成方法，包括以下步骤：对数据预处理并得到训练数据集、模拟临床MRI序列缺失的场景、构建生成对抗神经网络和训练生成对抗神经网络；本发明专利技术通过一次性地训练一个网络，实现同时对多种MRI序列的特征提取，与现有模型相比，翻译图像的质量更高，具备了将输入的MRI的图像灵活地翻译成任何所需的MRI序列的能力，可以解决对各种模态MRI图像的特征编码以及MRI多模态图像间的相互生成，且采用无监督的训练方式，在训练数据模态缺失的情况下，依旧可以训练生成网络，更加符合临床场景，可以实现任意多模态间的图像生成。可以实现任意多模态间的图像生成。可以实现任意多模态间的图像生成。

【技术实现步骤摘要】
一种基于对抗生成网络的多模态医学图像编码与生成方法


[0001]本专利技术涉及图像处理
，尤其涉及一种基于对抗生成网络的多模态医学图像编码与生成方法。

技术介绍

[0002]磁共振成像(MRI)可以获得多种不同序列(例如T1加权、T2加权、T1增强对比(T1c)和T2液体衰减反转恢复(T2FLAIR)等)，其中每个序列能够提供不同的组织对比视图和空间分辨率，序列间的组合提供了更多补充信息，使医生能够做出更准确的诊断和治疗，很多时候，特定的序列对特定的疾病诊断效果最佳，例如，对于胶质母细胞瘤的诊断而言，T1和T2的FLAIR序列可以清楚地显示肿瘤的水肿区，T1c序列可以清晰地显示肿瘤周围的强化区域。
[0003]然而，由于机构间采集协议的差异、时间限制和图像伪影的存在，很多时候很难获得患者的足够多的MRI序列，导致MRI检查中经常缺少序列，此外，不同中心产生的MRI序列因技术人员、机器、患者状况和其他因素的不同而有很大差异，这限制了MRI序列跨中心的比较和研究。
[0004]上述问题不仅干扰了医生的诊断，也阻碍了许多下游数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对抗生成网络的多模态医学图像编码与生成方法，其特征在于，包括以下步骤：步骤一：先从不同机构采集不同患者的磁共振扫描数据，再使用线性插值器将所有的磁共振扫描数据重新采样到1mm3的各向同性分辨率，剥离颅骨，并使用具有互信息相似性度量的刚性配准模型与单个解剖模板共同配准，得到训练数据集；步骤二：将训练数据集分为四组，且每组只有一种磁共振成像序列，并以此为基础模拟符合临床实际的磁共振成像序列缺失场景；步骤三：根据模拟出的符合临床实际的磁共振成像序列缺失场景，设计适用于多模态图像生成的生成对抗神经网络，具体为：设X和Y分别为MRI图像和MRI序列的集合，给定一个图像x∈X和一个序列y∈Y，训练一个生成器G，通过该生成器G生成与图像x对应的序列y的图像，再设计一个样式编码器E来学习代表特定序列y的样式码s，并训练生成器G来反映该样式码s，然后设计一个鉴别器D确定图像x是目标序列y的真实图像或由生成器G产生的假图像G(x，s)；步骤四：对生成对抗神经网络进行训练，且每轮训练接受来自不同患者的不同模态的图片，其中一个作为源序列，另一个作为目标序列，每轮训练随机选择源序列和目标序列，使生成对抗神经网络实现任意序列间的互相转换，先通过样式编码器E提取目标图像序列的风格特征，并以样式码s表示，再通过生成器G以该样式码s为参考，将源序列的图片转换到目标序列的图片，然后通过鉴别器D判断生成的序列是否属于目标序列。2.根据权利要求1所述的一种基于对抗生成网络的多模态医学图像编码与生成方法，其特征在于：所述步骤一中，所述训练数据集分为两个队列，分别为胶质母细胞瘤/高级别胶质瘤和低级别胶质瘤，患者的磁共振扫描数据包含四个脉冲序列，分别为T1、T2、T1ce和FLAIR，临床医生和委员会认证的放射科医生对所有磁共振扫描数据手动注释，每个肿瘤被分割成强化的肿瘤、瘤周水肿以及坏死和非强化的肿瘤核心。3.根据权利要求1所述的一种基于对抗生成网络的多模...

【专利技术属性】
技术研发人员：李卓远，何克磊，张峻峰，高阳，
申请(专利权)人：南京大学，
类型：发明
国别省市：