一种基于肿瘤感知引导的无监督多模态脑影像翻译方法技术

本发明专利技术公开了一种基于肿瘤感知引导的无监督多模态脑影像翻译方法，包括以下步骤：使用基于U‑Net的神经网络，构建一个适用于任意两种MRI模态之间进行转换的脑肿瘤图像翻译模型；模型包含全局分支和局部分支，用于提取整体源图像及对应的肿瘤图像的特征信息并进行融合，生成目标模态的整体图像和肿瘤图像，缓解生成图像在肿瘤区域上出现的失真问题；设计教师‑学生网络架构，学生网络通过蒸馏的方式学习教师网络的知识以及感知肿瘤的能力，在不需要依赖肿瘤标签信息的前提下，生成更加真实的目标模态图像。所述方法能利用非成对的单模态脑部图像，生成高质量的目标模态图像，并且测试阶段不需要肿瘤标签信息，更加符合真实的医疗场景。

【技术实现步骤摘要】

本专利技术属于深度学习中的计算机视觉领域，涉及计算机与医学的交叉应用，实现医学图像中的无监督多模态脑影像翻译。

技术介绍

1、多模态医学图像被广泛地应用在临床检测等各种场景中。不同模态下的脑肿瘤会显现出不同的形态，因此，在临床诊治中，医生可以通过分析不同模态的图像来获得更全面的信息，从而进行更加精准的诊断。但是，出于对时间成本和金钱成本等各种现实因素的考虑，成对的多模态脑肿瘤图像往往难以获得，因此，脑肿瘤图像的跨模态翻译的相关研究引起了广泛的关注。通过图像翻译技术生成已知图像的其他模态，可以帮助临床诊断和医学治疗，同时也能减少病人的检测成本。另外，生成的图像还可以用于进一步的医学研究。因此，利用当前先进的人工智能技术进行自动化的多模态脑肿瘤图像翻译具有重大意义。

2、由于脑肿瘤本身层次结构的复杂性以及其在不同模态下所显现形态的差异性，现有的方法在处理脑肿瘤的图像翻译时，结果往往会出现变形或失真。这是因为这些方法没能把翻译的重点聚焦在脑肿瘤上，而只是对整个脑部的图像做全局翻译。因此，在肿瘤出现的部位上，翻译的结果往往不尽人意。一种使用标签来辅助翻本文档来自技高网...

【技术保护点】

1.一种基于肿瘤感知引导的无监督多模态脑影像翻译方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于肿瘤感知引导的无监督多模态脑影像翻译方法，其特征在于：步骤S2中，生成器包括两个U-Net网络和一个MFB特征融合模块，每个U-Net网络各包含一对编解码器，其中编码器包括四组下采样网络，解码器包含四组上采样网络，每组下采样网络包括两层卷积层和一个卷积核大小为2、步长为2的最大池化层，其中卷积层使用卷积核大小为3×3，填充为1，步长为1的卷积，后接实例标准化层和Leakly ReLU激活函数；每组上采样网络包括两层卷积层和一个双线性采样层；两个编码器分别对整体图像...

【技术特征摘要】

1.一种基于肿瘤感知引导的无监督多模态脑影像翻译方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于肿瘤感知引导的无监督多模态脑影像翻译方法，其特征在于：步骤s2中，生成器包括两个u-net网络和一个mfb特征融合模块，每个u-net网络各包含一对编解码器，其中编码器包括四组下采样网络，解码器包含四组上采样网络，每组下采样网络包括两层卷积层和一个卷积核大小为2、步长为2的最大池化层，其中卷积层使用卷积核大小为3×3，填充为1，步长为1的卷积，后接实例标准化层和leakly relu激活函数；每组上采样网络包括两层卷积层和一个双线性采样层；两个编码器分别对整体图像和肿瘤图像进行特征编码，并将得到的全局特征和局部特征输入到特征融合模块进行融合，然后再将所得特征输入到各自对应的解码器，实现整体图像和局部图像的翻译，其中整体图像翻译所用到的编码器-特征融合模块-解码器称为全局分支，肿瘤图像翻译所用到的编码器-特征融合模块-解码器称为局部分支。

3.根据权利要求1所述的一种基于肿瘤感知引导的无监督多模态脑影像翻译方法，其特征在于：步骤s2中，判别器包含全局判别器和局部判别器，均采用patchgan架构，包括八组卷积层组成，其中前六组卷积层使用卷积核大小为4×4，填充为1，步长为2的卷积，后接实例标准化层和leakly relu激活函数；第七组卷积层使用卷积核大小为3×3，填充为1，步长为1的卷积；第八组卷积层使用卷积核大小为2×2，填充为0，步长为1的卷积，其中全局判别器用于鉴别整体图像，局部判别器用于鉴别肿瘤图像。

4.根据权利要求1所述的一种基于肿瘤...

【专利技术属性】
技术研发人员：黄川，韦佳，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：