一种肺癌CT到PET的医学图像跨模态合成方法技术

本发明专利技术涉及医疗影像领域，特别涉及一种肺癌CT到PET的医学图像跨模态合成方法，所述合成方法包括以下步骤：对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集；基于预处理的CT数据集和PET数据集在RegCAN模式下设计得到框架模型，从而能够在不用进行PET扫描的情况下，实现PET图像的人工智能合成，得到高质量的包含病变信息的PET图像。PET图像。PET图像。

【技术实现步骤摘要】
一种肺癌CT到PET的医学图像跨模态合成方法


[0001]本专利技术涉及一种肺癌CT到PET的医学图像跨模态合成方法。

技术介绍

[0002]PET为正电子发射断层扫描成像技术，被广泛应用于各种癌症的分期和监测治疗，与正常组织相比，PET中使用的放射性示踪剂是许多癌症的有用标记物，有助于检测和定位恶性肿瘤；虽然PET成像具有多种优点，但PET使用的放射性成分会具有一定的危险性，同时整体价格较为昂贵，因此PET并不能得到广泛的应用。
[0003]随着深度学习算法在医学图像处理领域的发展，采用深度学习的算法来实现实现跨模态医学图像合成，以在不进行PET扫描的情况下即可实现PET图像的人工智能合成，辅助医生进行肺癌疾病的诊断。
[0004]现有的医学图像跨模态的合成方法通常包括基于生成对抗网络开发的两种模式：有监督的Pix2Pix模型和无监督的循环一致性模型；然而上述两种模式在实际应用中都不够理想；Pix2Pix模型虽然具有出色的性能，但需要成对或像素良好对齐的图像来作为基础；循环一致性模型虽然对训练数据要求不那么严格，但其最佳输出不是唯一解；进一步的，以卷积神经网络为主干的生成对抗网络在许多医学图像合成任务中虽然被称为最先进的模型，然而，基于卷积神经网络设计得到的生成器是利用紧凑的过滤器来执行局部处理，这种归纳偏差损害了上下文特征的学习，对于复杂解剖结构的医学图像来说，在全局特征的捕捉和远程交互建模以及显示病变区域方面仍然存在很大缺陷。

技术实现思路

[0005]本专利技术实施例提供了一种肺癌CT到PET的医学图像跨模态合成方法，方法设计合理，基于卷积神经网络、全卷积Transformer和RegGAN技术，采用数据预处理后的CT和PET数据集对模型进行训练，能够在训练的过程中，捕捉图像的局部信息和全局上下文信息，学习CT域图像到PET域图像的映射关系，进而准确迅速的完成从肺部CT图像到PET图像的合成，不同与仅基于卷积神经网络的医学图像合成模型和仅基于生成器和鉴别器的生成对抗网络模式，可以更好的捕捉与健康组织相关的病变组织的信息，合成的PET图像也能够较为清晰的反馈出病灶的位置，从而能够在不用进行PET扫描的情况下，实现PET图像的人工智能合成，得到高质量的包含病变信息的PET图像，将极大的降低由放射性成分对特定人群造成的风险，减轻用户的经济负担，显示了良好的临床应用潜力，解决了现有技术中存在的问题。
[0006]本专利技术为解决上述技术问题所采用的技术方案是：一种肺癌CT到PET的医学图像跨模态合成方法，所述合成方法包括以下步骤：S1，对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集；S2，基于预处理的CT数据集和PET数据集在RegCAN模式下设计得到框架模型，所述
框架模型包括生成器、鉴别器和配准网络；所述生成器用于采用混合的CNN
‑
Transformer结构学习源域图像到目标域图像的映射关系，参照真实图像分布从而让自身生成的图像更加真实，以骗过鉴别器；所述鉴别器用于采用卷积神经网络结构对接收的生成器生成的图像和真实的图像进行判定；所述配准网络用于采用基于ResUNet的可变形配准得到随机变形场来校正生成器的输出；所述生成器采用编码器
‑
中间信息瓶颈层
‑
解码器的结构，在编码器和解码器内分别设有卷积块以利用卷积操作的局部精度优势；所述中间信息瓶颈层采用全卷积Transformer模块和残差卷积块的混合结构，以捕捉病理学分布涉及到的与健康组织相关的病变的位置与结构，也能在合成图像中实现高局部化和提升上下文敏感度以及高度的真实感；所述编码器和解码器用于通过卷积层来保持学习结构中的局部精度和归纳偏差；S3，将成对的CT数据集和PET数据集输入到生成的框架模型进行训练，生成器和鉴别器在交替迭代的博弈过程中共同进化，以使生成器学习到最接近真实样本的数据分布；S4, 保存经过训练后的模型，将npy格式的二维切片输入到训练好后的模型中，即可获得相应的PET图像。
[0007]对CT数据和PET数据进行数据预处理包括以下步骤：S1.1，利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式；S1.2，使用FSL工具把PET图像线性配准到CT图像上；S1.3，将CT图像的窗宽调整为4000，窗位调整到1000，并将CT图像和PET图像归一化到[
‑
1,1]之间；S1.4，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集。
[0008]利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式包括以下步骤：S1.1.1，构建DICOM序列文件阅读器，打包整合后将数据转换为array格式；S1.1.2，获取DICOM序列文件基本信息，将array格式转换为img格式并保存为NIFIT格式。
[0009]使用FSL工具把PET图像线性配准到CT图像上包括以下步骤：S1.2.1，使用FSL工具将CT图像设置为固定图像，将PET图像设置为浮动图像；S1.2.2，将CT图像和PET图像的自由度设置为12，采用代价函数设置交互信息，采用插值算法选择三线性插值，从而将PET图像配置到CT图像上。
[0010]所述全卷积Transformer模块包括卷积注意力模块和视野聚焦模块，所述卷积注意力模块用于学习远程语义上下文，所述视野聚焦模块用于使用多分辨率空洞卷积来学习局部和全局上下文；在卷积注意力模块中，首先通过卷积嵌入层以将输入映射成指定数量的特征嵌入；其次卷积投影通过深度可分离卷积对每个特征嵌入进行投影以生成Q、K和V；最后对每一个特征嵌入的Q、K和V进行多头自注意力机制的计算；在视野聚焦模块中，采用多分支空调卷积层，以利用不同大小的感受野来获取较多数量的空间上下文信息，从而提取医学图像的细粒度信息，通过求和来融合多分支卷积
层的特征。
[0011]在生成器G之后增设配准网络R作为标签噪声模型以提高合成图像G（x）的质量，具体的，修正损失为：
[0012]其中，x为输入的源域的CT图像， 为目标域的PET图像，是变形场，表示重采样操作；进一步的，可通过损失函数公式来评估变形场的光滑度并最小化变形场的梯度，损失函数公式为：
[0013]其中，x为输入的源域的CT图像， 为目标域的PET图像， 是变形场。
[0014]所述生成器G和鉴别器D之间的对抗性目标函数为：
[0015]其中，x为输入的源域的CT图像， 为目标域的PET图像，是变形场。
[0016]所述数据集以8：2的比例随机划分为训练集和测试集。
[0017]本专利技术采用上述结构，通过对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于，所述合成方法包括以下步骤：S1，对CT数据和PET数据进行数据预处理，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集；S2，基于预处理的CT数据集和PET数据集在RegCAN模式下设计得到框架模型，所述框架模型包括生成器、鉴别器和配准网络；所述生成器用于采用混合的CNN
‑
Transformer结构学习源域图像到目标域图像的映射关系，参照真实图像分布从而让自身生成的图像更加真实，以骗过鉴别器；所述鉴别器用于采用卷积神经网络结构对接收的生成器生成的图像和真实的图像进行判定；所述配准网络用于采用基于ResUNet的可变形配准得到随机变形场来校正生成器的输出；所述生成器采用编码器
‑
中间信息瓶颈层
‑
解码器的结构，在编码器和解码器内分别设有卷积块以利用卷积操作的局部精度优势；所述中间信息瓶颈层采用全卷积Transformer模块和残差卷积块的混合结构，以捕捉病理学分布涉及到的与健康组织相关的病变的位置与结构，也能在合成图像中实现高局部化和提升上下文敏感度以及高度的真实感；所述编码器和解码器用于通过卷积层来保持学习结构中的局部精度和归纳偏差；S3，将成对的CT数据集和PET数据集输入到生成的框架模型进行训练，生成器和鉴别器在交替迭代的博弈过程中共同进化，以使生成器学习到最接近真实样本的数据分布；S4, 保存经过训练后的模型，将npy格式的二维切片输入到训练好后的模型中，即可获得相应的PET图像。2.根据权利要求1所述的一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于，对CT数据和PET数据进行数据预处理包括以下步骤：S1.1，利用SimpleITK库将从医院采集到的原始DICOM格式的CT数据和PET数据转换为NIFIT格式；S1.2，使用FSL工具把PET图像线性配准到CT图像上；S1.3，将CT图像的窗宽调整为4000，窗位调整到1000，并将CT图像和PET图像归一化到[
‑
1,1]之间；S1.4，将NIFIT格式的CT图像和PET图像转换为npy格式的二维切片，制作得到成对CT数据集和PET数据集。3.根据权利要求2所述的一种肺癌CT到PET的医学图像跨模态合成方法，其特征在于，...

【专利技术属性】
技术研发人员：郑强，陈莹钰，
申请(专利权)人：英瑞云医疗科技烟台有限公司，
类型：发明
国别省市：