三维医学图像模态转换模型训练方法及设备技术

本发明专利技术提供一种三维医学图像模态转换模型训练方法及设备，引入循环一致性损失，提高生成器泛化能力；将体数据视作未配对但有序的流，通过结合空间约束的方法，利用第三个维度的信息，为从一个域到另一个域的优化提供更多的约束条件，并有助于达到更好的局部最小值；引入空间约束，其影响有助于学习特定领域中的风格特征，且空间信息可以通过体数据中的切片索引获得，因此不需要人工监督；使用权重共享机制，可能更好地保证模型进行知识迁移，将时空线索与条件生成对抗网络结合起来，用于体数据重定向，更好地学习两个域之间的关联；在没有任何人工监督和领域特定知识的情况下，此方法可以使用医学体数据从一个领域学习到另一个领域的模态转换。个领域的模态转换。个领域的模态转换。

【技术实现步骤摘要】
三维医学图像模态转换模型训练方法及设备


[0001]本专利技术涉及医学图像处理领域，具体涉及一种三维医学图像模态转换模型训练方法及设备。

技术介绍

[0002]随着现代计算机技术的高速发展，数字化诊疗在医学领域发挥着越来越重要的作用。为了非侵入式地观察患者身体内部实际情况，各式各样的医学影像成像技术在临床中开始被广泛使用。不同模态的医学影像，具有不同的成像特点，如计算机断层扫描（Computed Tomography，CT）影像可以用来诊断肌肉和骨组织有关失常，不同时期的核磁共振成像（MagneticResonance Imaging，MRI）影像能提供软组织有关的信息。直接观察相应影像进行诊断要求医生具备相关专业知识以及丰富的经验。
[0003]CT与MRI图像间外观差异较大，CT 图像对患者骨骼、器官轮廓等显示较为清晰，对血管等部位的显示较模糊，而 MRI图像则侧重显示患者的软组织等信息。由于跨模态医学图像间的较大外观差异，现有的无监督学习方法难以直接对图像间相似度进行度量，因而难以进行下游任务网络训练。
[0004]MR
‑
CT图像合成在医学图像分析中起着重要的作用，其应用包括但不限于PET
‑
MR衰减校正和多模态图像配准。近年来，基于深度学习的图像合成技术取得了很大的成功。然而，目前的大多数方法都需要来自两种不同模式的大量成对数据，这极大地限制了它们的使用，因为在某些情况下，成对数据是不可获得的。尽管已有一些方法可以实现不同外观风格图像间的风格转换，但考虑到图像风格转换与医学图像问题目标不同，医学图像出于对精度的要求需要转换后图像具有较高的真实性，因此此类方法目前在医学图像处理中的应用较少。
[0005]目前存在一些方法来缓解这一限制，如循环对抗生成网络(Cycle
‑
GAN)。然而此类循环对抗生成网络的变体只考虑到二维图像中的信息，而忽略了空间上第三个维度的信息。此类方法存在两个主要的限制:(1)感知模式崩溃:不能保证循环一致性会产生对输入感知唯一的数据。(2)与输入空间绑定:由于输入本身的重构损失，网络被迫学习一个与输入紧密相关的解。上述限制对于涉及合成三维体数据风格信息的问题是不合理的，所以常规的基于循环对抗生成网络的训练方法所训练出的模型，在实际用于模态转换时的准确性有待提高。

技术实现思路

[0006]有鉴于此，本专利技术提供一种三维医学图像模态转换模型训练方法，包括：获取训练数据，包括空间上连续的CT图像序列和MRI图像序列；利用所述训练数据对模态转换网络模型进行训练，所述模态转换网络模型包括三个分支，第一分支包括基本生成对抗网络，第二分支包括循环生成对抗网络，第三分支包括无监督三维重定向网络；在训练过程中，所述基本生成对抗网络用于针对所述训练数据进行模态转换，并根据生成对抗损失更新权重参
数；所述循环生成对抗网络针对所述训练数据进行模态转换和模态还原，根据生成对抗损失和循环一致损失更新权重参数；所述无监督三维重定向网络针对所述训练数据进行模态转换，以及针对所述训练数据进行空间上在后的图像预测,并根据生成对抗损失和三维重定向损失更新权重参数；所述三个分支共享所述权重参数，训练后的任一分支用于对CT图像或者MRI图像进行模态转换。
[0007]可选地，所述训练数据中包括配对的CT图像序列和MRI图像序列，适用于所述第一分支；所述基本生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，其中第一生成器和第二生成器与另外两个分支共享所述权重参数；第一生成器以CT图像作为输入，输出仿MRI图像；第一判别器用于判断所述仿MRI图像是否属于MRI模态；第二生成器以MRI图像作为输入，输出仿CT图像；第二判别器用于判断所述仿CT图像是否属于CT模态。
[0008]可选地，所述训练数据中包括非配对的CT图像序列和MRI图像序列，适用于所述第二分支；所述循环生成对抗网络包括第三生成器、第四生成器、第三判别器和第四判别器，其中第三生成器和第四生成器与另外两个分支共享所述权重参数；第三生成器以CT图像作为输入，输出仿MRI图像；第四生成器以MRI图像作为输入，输出仿CT图像；第四生成器还以所述仿MRI图像作为输入，输出还原CT图像；第三生成器还以所述仿CT图像作为输入，输出还原MRI图像；第三判别器用于判断所述仿MRI图像是否属于MRI模态；第四判别器用于判断所述仿CT图像是否属于CT模态。
[0009]可选地，所述循环生成对抗网络的生成对抗损失是根据所述仿MRI图像、所述仿CT图像以及第三判别器和第四判别器的输出结果计算的；所述循环生成对抗网络的循环一致损失是根据所述还原CT图像与所述CT图像的差异以及所述还原MRI图像与所述MRI图像的差异计算的。
[0010]可选地，所述循环一致损失为，其中，为所述循环一致损失，表示根据所述还原CT图像与所述CT图像的差异计算的循环一致损失，表示根据述还原MRI图像与所述MRI图像的差异计算的循环一致损失。
[0011]可选地，所述无监督三维重定向网络包括第一空间预测网络、第二空间预测网络，以及第五生成器、第六生成器、第五判别器和第六判别器，其中第五生成器和第六生成器与另外两个分支共享所述权重参数； 所述第一空间预测网络用于针对CT图像序列中的若干连续CT图像生成空间上在后的CT图像；所述第二空间预测网络针用于对MRI图像序列中的若干连续MRI图像生成空间上在后的MRI图像；第五生成器以CT图像作为输入，输出仿MRI图像；第六生成器以MRI图像作为输入，输出仿CT图像；第五判别器用于判断所述仿MRI图像是否属于MRI模态；第六判别器用于判断所述仿CT图像是否属于CT模态。
[0012]可选地，所述无监督三维重定向网络的生成对抗损失是根据所述仿MRI图像、所述仿CT图像以及第五判别器和第六判别器的输出结果计算的；所述无监督三维重定向网络的三维重定向损失是根据生成的空间上在后的CT图像与实际图像的差异以及生成的空间上在后的MRI图像与实际图像的差异计算的。
[0013]可选地，所述无监督三维重定向网络的总损失为，其中，为所述总损失，表示第二空间预测网络的三维重定向损失，表示第一空间预测网络的三维重定向损失，表示第六生成器的生成对抗损失，表示第五生成器的生成对抗损失，、、、均为超参数。
[0014]可选地，在利用所述训练数据对模态转换网络模型进行训练之前，还包括对所述训练数据进行仿射变换，以对所述CT图像序列和MRI图像序列进行预配准。
[0015]相应地，本专利技术还提供一种三维医学图像模态转换模型训练设备，包括：处理器以及与所述处理器连接的存储器；其中，所述存储器存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器执行上述三维医学图像模态转换模型训练方法。
[0016]根据本专利技术提供的三维医学图像模态转换模型训练方法及设备，所训练的网络包括三分支，分别为适用于处理成对图像的基本对抗生成网络、适用于处理不成对图像循环对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维医学图像模态转换模型训练方法，其特征在于，包括：获取训练数据，包括空间上连续的CT图像序列和MRI图像序列；利用所述训练数据对模态转换网络模型进行训练，所述模态转换网络模型包括三个分支，第一分支包括基本生成对抗网络，第二分支包括循环生成对抗网络，第三分支包括无监督三维重定向网络；在训练过程中，所述基本生成对抗网络用于针对所述训练数据进行模态转换，并根据生成对抗损失更新权重参数；所述循环生成对抗网络针对所述训练数据进行模态转换和模态还原，根据生成对抗损失和循环一致损失更新权重参数；所述无监督三维重定向网络针对所述训练数据进行模态转换，以及针对所述训练数据进行空间上在后的图像预测,并根据生成对抗损失和三维重定向损失更新权重参数；所述三个分支共享所述权重参数，训练后的任一分支用于对CT图像或者MRI图像进行模态转换。2.根据权利要求1所述的方法，其特征在于，所述训练数据中包括配对的CT图像序列和MRI图像序列，适用于所述第一分支；所述基本生成对抗网络包括第一生成器、第二生成器、第一判别器和第二判别器，其中第一生成器和第二生成器与另外两个分支共享所述权重参数；第一生成器以CT图像作为输入，输出仿MRI图像；第一判别器用于判断所述仿MRI图像是否属于MRI模态；第二生成器以MRI图像作为输入，输出仿CT图像；第二判别器用于判断所述仿CT图像是否属于CT模态。3.根据权利要求1所述的方法，其特征在于，所述训练数据中包括非配对的CT图像序列和MRI图像序列，适用于所述第二分支；所述循环生成对抗网络包括第三生成器、第四生成器、第三判别器和第四判别器，其中第三生成器和第四生成器与另外两个分支共享所述权重参数；第三生成器以CT图像作为输入，输出仿MRI图像；第四生成器以MRI图像作为输入，输出仿CT图像；第三生成器还以所述仿CT图像作为输入，输出还原MRI图像；第四生成器还以所述仿MRI图像作为输入，输出还原CT图像；第三判别器用于判断所述仿MRI图像是否属于MRI模态；第四判别器用于判断所述仿CT图像是否属于CT模态。4.根据权利要求3所述的方法，其特征在于，所述循环生成对抗网络的生成对抗损失是根据所述仿MRI图像、所述仿CT图像以及第三判别器和第四判别器的输出结果计算的；所述循环生成对抗网络的循环一致损失是根据所述还原CT图像与所述...

【专利技术属性】
技术研发人员：张昊任，史纪鹏，沈亚奇，陈向前，
申请(专利权)人：真健康北京医疗科技有限公司，
类型：发明
国别省市：