一种脑梗CT到MRI常规序列的医学图像跨模态合成方法技术

一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，所述合成方法包括以下步骤：对CT数据和MRI数据进行预处理，以将原始医学影像数据处理成方便计算机处理的图像格式；使用MRIcron软件将采集得到Dicom格式的CT数据和MRI数据转换成Nifit格式，并进一步转换成PNG格式的二维切片，制作PNG格式的脑梗CT

【技术实现步骤摘要】
一种脑梗CT到MRI常规序列的医学图像跨模态合成方法


[0001]本专利技术涉及一种脑梗CT到MRI常规序列的医学图像跨模态合成方法。

技术介绍

[0002]脑梗又称缺血性脑卒中，是由血管阻塞引起的脑缺血所致的脑功能障碍，在治疗过程中，由于CT对脑出血敏感度很高，是排除脑出血的首选方法，但CT对急性缺血性脑卒中并不敏感，病变影像并不明显。当排除了脑出血后，如果病人有严重的症状，而CT是阴性的，则需要进一步的MRI检查。
[0003]在临床诊断中，需要直接获取多个MRI常规序列共同来判断病灶位置和大小等，但获取多个MRI常规序列会耗费较多的时间，会导致救治时机的延误，同时价格昂贵，对患者负担较大。
[0004]随着深度学习在医学图像分析领域的发展，利用深度学习算法实现跨模态医学图像合成成为了可能，可以在不用进行MRI扫描的情况下，实现MRI常规序列图像的人工智能合成，极大降低因为延误救治时机所带来的疾病风险。
[0005]现有的医学图像合成方法通常是基于生成对抗网络来实现的，由于大多数生成对抗网络的生成器是基于卷积来提取特征，但卷积操作具有一定的局限性，不能有效学习远程语义信息；医学图像包含健康组织和病理组织之间的上下文关系，而卷积操作限制了反映长距离空间依赖的上下文特征的表达能力，导致该模型不能有效提取病变信息，无法在合成图片中很好的显示病变区域，医学图像合成效果不佳。

技术实现思路

[0006]本专利技术实施例提供了一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，方法设计合理，以GAN为基础框架，在U
‑
Net机构的生成器中添加了基于全卷积Transformer的U
‑
Net分支和基于协调注意力模块的纹理细节学习网络分支，并改进了目标函数，采用深度学习模型对数据预处理之后的成对CT数据集和MRI数据集进行训练，可以更好的提取了输入图片的上下文信息，能够在不进行MRI扫描的情况下快速准确的完成从脑梗CT到MRI常规序列医学图像的合成，有效捕获了医学图像的远程依赖关系，更专注与区分正常组织和病变组织，极大降低因为延误救治时间所带来的疾病风险，同时能够合成高质量的包含病变信息的MRI常规序列图像，显示了良好的临床应用潜力，解决了现有技术中存在的问题。
[0007]本专利技术为解决上述技术问题所采用的技术方案是：一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，所述合成方法包括以下步骤：S1，对CT数据和MRI数据进行预处理，以将原始医学影像数据处理成方便计算机处理的图像格式；使用MRIcron软件将采集得到Dicom格式的CT数据和MRI数据转换成Nifit格式，并进一步转换成PNG格式的二维切片，制作PNG格式的脑梗CT
‑
MRI成对数据集；S2，针对预处理得到的脑梗CT
‑
MRI成对数据集，建立深度学习模型，所述深度学习
模型以GAN模型为基础框架进行改进，所述深度学习模型包括生成器G和判别器D，所述生成器用于学习从输入CT图像x和随机噪声z到输出MRI图像y的映射，以对CT图像进行编码，再将CT图像解码为MRI图像；所述判别器用于设计基于边缘特征约束的损失函数和使用仅对高频结构建模的马尔可夫判别器来判断输入图像的真实性；在生成器内设有基于全卷积Transformer的U
‑
Net分支和基于协调注意力模块的纹理细节学习网络分支，以接收PNG格式的脑梗CT
‑
MRI成对数据集；在判别器内设有五个卷积块组成的全卷积网络，以通过局部图像块的结构就可以对于输入的图像进行判断；S3，将脑梗CT
‑
MRI成对数据集输入到深度学习模型中进行训练，以CT图片为源图像，以MRI图片为目标图像，从而得到训练好的生成器和判别器；S4，保存训练后的深度学习模型，提取输入图像的全局特征和局部特征，再通过边缘检测器进一步提取输入图像的边缘信息，将正常组织和病变组织区分开，使合成图像更清晰显示出病灶的位置和大小；将PNG格式的二维CT切片输入到训练好的深度学习模型中，即可获取对应的合成MRI图像。
[0008]对CT数据和MRI数据进行预处理包括以下步骤:S1.1，将医院采集到的原始Dicom格式的CT数据和MRI数据使用MRIcron软件转换为Nifit格式；S1.2，使用3D slicer软件将CT图像和MRI图像进行配准，将MRI图像设置为固定图像，CT图像设置为浮动图像；S1.3，选择Elastix配准工具中的刚性配准作为配准标准，将CT图像配到MRI图像上；S1.4，对CT图像和MRI图像进行归一化处理，将数据归一化到[0,1]之间，将Nifti格式的CT图像和MRI图像转换为PNG格式的二维切片，制作PNG格式的脑梗CT
‑
MRI成对数据集。
[0009]所述基于全卷积Transformer的U
‑
Net分支设置在生成器下方，所述基于协调注意力模块的纹理细节学习网络分支设置在生成器上方；所述基于全卷积Transformer的U
‑
Net分支使用Transformer来捕捉图像中的远程依赖关系，学习正常区域和病变区域的上下文信息；所述基于协调注意力模块的纹理细节学习网络分支借助注意力机制以特征图加权求和的方式将病变区域高亮显示，并使用更深层的残差网络来增大感受野，提取图像的深层特征；所述基于全卷积Transformer的U
‑
Net分支包括卷积注意力模块和视野聚焦模块；所述卷积注意力模块用于学习脑梗CT
‑
MRI成对数据集远程语义上下文特征，所述视野聚焦模块用于采用多分辨率空洞卷积来学习脑梗CT
‑
MRI成对数据集的局部和全局上下文特征；所述基于协调注意力模块的纹理细节学习网络分支用于将经卷积操作的输入CT图像的特征图分别沿水平坐标和垂直坐标两个空间方向进行平均池化。
[0010]经卷积操作的输入CT图像的特征图的高度h和宽度w设置为64，所述池化核的空间范围分别为（H，1）和（1，W），进而生成特征图两个空间方向的聚合特征图；将两个聚合特征图拼接起来输入到卷积变换函数中，使用非线性激活函数生成中间特征图，以沿着一个空间方向捕获图像的远程依赖关系，沿着另一个空间方向保留图像的位置信息。
[0011]将脑梗CT
‑
MRI成对数据集输入到深度学习模型中进行训练包括以下步骤：
S3.1，使用生成器中基于全卷积Transformer的U
‑
Net分支，借助该分支U
‑
Net结构中的卷积算子学习输入图像的局部信息，Transformer学习输入图像的全局信息，额外添加的分支学习输入图片的纹理和细节，边缘检测器提取输入图像和合成图像的边缘信息；S3.2，生成器学习源图像到目标图像的映射，以从源图像合成到目标图像，并将合成的目标图像送入到判别器，所述映射为：。
[0012]其中，x为输入CT图像，z本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于，所述合成方法包括以下步骤：S1，对CT数据和MRI数据进行预处理，以将原始医学影像数据处理成方便计算机处理的图像格式；使用MRIcron软件将采集得到Dicom格式的CT数据和MRI数据转换成Nifit格式，并进一步转换成PNG格式的二维切片，制作PNG格式的脑梗CT
‑
MRI成对数据集；S2，针对预处理得到的脑梗CT
‑
MRI成对数据集，建立深度学习模型，所述深度学习模型以GAN模型为基础框架进行改进，所述深度学习模型包括生成器G和判别器D，所述生成器用于学习从输入CT图像x和随机噪声z到输出MRI图像y的映射，以对CT图像进行编码，再将CT图像解码为MRI图像；所述判别器用于设计基于边缘特征约束的损失函数和使用仅对高频结构建模的马尔可夫判别器来判断输入图像的真实性；在生成器内设有基于全卷积Transformer的U
‑
Net分支和基于协调注意力模块的纹理细节学习网络分支，以接收PNG格式的脑梗CT
‑
MRI成对数据集；在判别器内设有五个卷积块组成的全卷积网络，以通过局部图像块的结构就可以对于输入的图像进行判断；S3，将脑梗CT
‑
MRI成对数据集输入到深度学习模型中进行训练，以CT图片为源图像，以MRI图片为目标图像，从而得到训练好的生成器和判别器；S4，保存训练后的深度学习模型，提取输入图像的全局特征和局部特征，再通过边缘检测器进一步提取输入图像的边缘信息，将正常组织和病变组织区分开，使合成图像更清晰显示出病灶的位置和大小；将PNG格式的二维CT切片输入到训练好的深度学习模型中，即可获取对应的合成MRI图像。2.根据权利要求1所述的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于，对CT数据和MRI数据进行预处理包括以下步骤:S1.1，将医院采集到的原始Dicom格式的CT数据和MRI数据使用MRIcron软件转换为Nifit格式；S1.2，使用3D slicer软件将CT图像和MRI图像进行配准，将MRI图像设置为固定图像，CT图像设置为浮动图像；S1.3，选择Elastix配准工具中的刚性配准作为配准标准，将CT图像配到MRI图像上；S1.4，对CT图像和MRI图像进行归一化处理，将数据归一化到[0,1]之间，将Nifti格式的CT图像和MRI图像转换为PNG格式的二维切片，制作PNG格式的脑梗CT
‑
MRI成对数据集。3.根据权利要求1所述的一种脑梗CT到MRI常规序列的医学图像跨模态合成方法，其特征在于：所述基于全卷积Transformer的U
‑
Net分支设置在生成器下方，所述基于协调注意力模块的纹理细节学习网络分支设置在生成器上方；所述基于全卷积Transformer的U
‑
Net分支使用Transformer来捕捉图像中的远程依赖关系，学习正常区域和病变区域的上下文信息；所述基于协...

【专利技术属性】
技术研发人员：郑强，陈莹钰，
申请(专利权)人：英瑞云医疗科技烟台有限公司，
类型：发明
国别省市：