基于多模MRI同步生成的伪CT合成方法技术

本发明专利技术涉及基于多模MRI同步生成的伪CT合成方法，属于医学图像处理领域。该方法将单个模态MRI作为输入，同时输出多个其余模态MRI和伪CT，具体步骤包括：获取单个模态MRI，输入预设的生成器，该生成器由一个共享编码器和J个解码器构成；首先获取前J

【技术实现步骤摘要】
基于多模MRI同步生成的伪CT合成方法


[0001]本公开涉及医学图像处理领域，尤其涉及一种基于多模MRI同步生成的伪CT合成方法。

技术介绍

[0002]以MRL为载体的在线自适应放疗(MRI guided online adaptive radiotherapy，MRIgOART)，可大幅度提高肿瘤患者的临床获益，令胰腺癌患者两年生存率提高19％，乳腺癌患者复发率降低20％，被誉为放疗史上又一里程碑式的技术进步。
[0003]MRIgOART以分次治疗前或治疗过程中采集的MR影像为基本输入源，在此基础上开展感兴趣区域勾画、计划设计以及验证、执行等工作流。其中，计划设计过程通过模拟不同治疗条件下患者接受的剂量沉积，并指定计划优化目标，反向求解治疗应设定的条件，直接决定了患者治疗方案的优劣。与传统的基于CT图像进行计划设计不同，MRIgOART在只提供MR影像的前提下，仅能反映组织的质子密度和磁弛豫特性(即偶极矩的惯性)，并不能体现组织的电子密度，无法直接用于放疗计划制定时的剂量计算。如何在仅有MR影像的情形下，获取对应组织的电子密度信息(即synthetic CT，sCT或伪CT)，是剂量计算得以顺利开展的前提。当前商用方法采用基于组织划分并赋值的策略，精度较低。现有研究方法则多以简化的一对一(一模态MRI直接至sCT)或者多对一(多模态MRI至sCT)的方式进行。如CN 202110117854.8公开了一种基于深度学习从多序列MR中生成伪CT的影像生成系统，利用多模态MRI中不同模态之间的互补特征来提升伪CT的生成质量。然而由于有限的扫描时间和昂贵的MRI成本，在临床场景中获得同一患者的多序列MRI图像并不经济可取。因此，设计一种从某一易获取的MRI模态、但效果可等同多序列模态，对伪CT进行生成的新方法，具有重要的临床与研究价值。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点与不足，提出一种基于多模MRI同步生成的放疗计划伪CT合成方法，使得在生成多个模态MRI的同时进一步加强伪CT的合成质量。
[0005]为实现上述目的，本专利技术的技术方案如下。
[0006]第一方面，一种基于多模MRI同步生成的放疗计划伪CT合成方法，所述方法包括下述步骤：
[0007]获取单个模态MRI，输入预设的生成器，该生成器由一个共享编码器和J个相同解码器构成，共享编码器基于单个模态MRI的输出特征为J个解码器的共享输入特征；
[0008]将共享编码器和前J
‑
1个解码器对应的中间层特征进行融合，以获得多尺度融合特征；
[0009]利用前J
‑
1个解码器基于共享输入特征生成同期多个模态的MRI，再利用第J个解码器基于多尺度融合特征和共享输入特征，生成伪CT图像，J为自然数。
[0010]上述技术方案通过共享编码器和非共享解码器来实现MRI不同模态之间的深层特
征表达映射，以实现高质量的生成效果，实现一对多的多个模态MRI和伪CT生成，解决临床多模态图像获取难、成本高的问题。
[0011]在上述技术方案中，共享编码器包括M个卷积层和N个下采样层；解码器包括N个上采样层和M个卷积层，M，N为设定值，属于自然数。
[0012]在上述技术方案的一种实施方式中，卷积层依次进行卷积、归一化和激活操作；下采样层依次进行卷积、归一化、激活和池化操作；上采样层依次进行反卷积、归一化和激活操作。
[0013]在上述技术方案中，在生成多个模态MRI的同时，将多个模态MRI的深层特征进行融合能够充分地利用不同模态信息，即：将共享编码器和前J
‑
1个解码器对应的中间层特征进行融合，以获得多尺度融合特征。具体实现步骤包括：
[0014]基于共享编码器获取N个下采样特征，按顺序记作下采样特征Down
i
，i＝N，N
‑
1，
…
，2；
[0015]利用第j个解码器获取N个上采样特征，按顺序记作上采样特征Up
jk
，j＝1，2，
…
，J
‑
1，k＝2，3，
…
，N；
[0016]从k＝2起，将下采样特征Down
k
、上采样特征Up
jk
融合，获得融合特征
[0017]在上述技术方案中，第J个解码器基于多尺度融合特征和共享输入特征，生成伪CT图像，包括：
[0018]获取第J个解码器的上采样特征Up
Jk
，与融合特征融合，获得第J个解码器的第k个上采样特征，k＝2，3，
…
，N；
[0019]对第J个解码器的第N个上采样特征，经过M个卷积层处理，输出伪CT图像，从而实现MR
‑
CT跨模态映射的准确性和稳定性，建立有效实用的MR
‑
CT跨模态映射模型和技术。
[0020]在上述技术方案中，预设生成器，以生成对抗学习为模型框架，通过训练获得，训练步骤包括：
[0021]为生成器构建对应的鉴别器，将生成器和鉴别器构成训练模型；
[0022]获取患者的不同模态数据集，包括多个相同部位的CT图像和同期获得的多个模态MRI，并对数据进行预处理；
[0023]预对齐CT图像和多个模态MRI，再通过以互信息为优化度量的对称归一化配准方法对图像进行仿射和形变配准；
[0024]经过配准后的CT图像和多个模态MRI进行最大最小值归一化；
[0025]输入单个模态MRI训练所述一对多架构生成器模型，得到多个模态的MRI和伪CT，图像值域范围均在[0，1]；
[0026]将得到的多个模态的MRI和伪CT同时输入对应的鉴别器，计算鉴别器将真实图像判定为真的概率与鉴别器将生成器生成的虚假图像判定为假的概率之和作为对抗损失；
[0027]当训练达到指定次数，或者总损失达到指定阈值，停止训练，保存此时模型的权重参数，将此时的生成器作为预设生成器应用。
[0028]在上述技术方案中，经过迭代，使生成器生成的图像越接近真实图像越好，而鉴别器区分真实图像和生成的虚假图像能力要越来越强，从而实现博弈过程。在模型达到平衡
后，鉴别器就无法区分真实图像和生成图像。在预测阶段，我们不再需要鉴别器，只用生成器进行工作。
[0029]作为上述技术方案的进一步改进，预设生成器在训练中进一步设置生成损失、结构相似性损失、感知损失以进一步提高模型生成图像的准确性，并将对抗损失、生成损失、结构相似性损失、感知损失之和作为训练的总损失loss，当训练达到指定次数，或者loss达到指定阈值，停止训练，保存此时模型的权重参数，将此时的生成器作为预设生成器应用；
[0030]其中：
[0031]对抗损失，为鉴别器将真实图像判定为真的概率与鉴别器将生成器生成的虚假图像判定为假的概率之和；
[0032]生成损失，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模MRI同步生成的伪CT合成方法，其特征在于，所述方法包括下述步骤：获取单个模态MRI，输入预设的生成器；其中：该生成器由一个共享编码器和J个相同结构的解码器构成，共享编码器基于单个模态MRI的输出特征为J个解码器的共享输入特征；首先利用前J
‑
1个解码器基于共享输入特征生成同期多个模态的MRI，再将共享编码器和前J
‑
1个解码器对应的中间层特征进行融合，以获得多尺度融合特征；利用第J个解码器基于多尺度融合特征和共享输入特征，生成伪CT图像，J为自然数。2.根据权利要求1所述的方法，其特征在于，共享编码器包括M个卷积层和N个下采样层；解码器包括N个上采样层和M个卷积层，M，N为设定值，属于自然数。3.根据权利要求2所述的方法，其特征在于，将共享编码器和前J
‑
1个解码器对应的中间层特征进行融合，以获得多尺度融合特征，包括：基于共享编码器获取N个下采样特征，按顺序记作下采样特征Down
i
，i＝N，N
‑
1，
…
，2；利用第j个解码器获取N个上采样特征，按顺序记作上采样特征Up
jk
，j＝1，2，
…
，J
‑
1，k＝2，3，
…
，N；从k＝2起，将下采样特征Down
k
、上采样特征Up
jk
融合，获得融合特征j＝1，2，
…
，J
‑
1，k＝2，3，
……
，N。4.根据权利要求2所述的方法，其特征在于，第J个解码器基于多尺度融合特征和共享输入特征，生成伪CT图像，包括：获取第J个解码器的上采样特征Up
Jk
，与融合特征融合，获得第J个解码器的第k个上采样特征，k＝2，3，
…
，N；对第J个解码器的第N个上采样特征，经过M个卷积层处理，输出伪CT图像。5.根据权利要求1所述的方法，其特征在于，预设生成器，通过训练获得，训练步骤包括：为生成器构建对应的鉴别器，将生成器和鉴别器构成训练模型；获取患者的不同模态数据集，包括多个相同部位的CT图像和同期获得的多个模态MRI，并对数据进行预处理；预对齐CT图像和多个模...

【专利技术属性】
技术研发人员：宋婷，周炫汝，周凌宏，蔡家俊，肖帆，蔡雯雯，亓孟科，刘嘉雯，
申请(专利权)人：南方医科大学，
类型：发明
国别省市：