一种基于深度学习的超低剂量PET图像重建系统及方法技术方案

本发明专利技术公开了一种基于深度学习的超低剂量PET图像重建系统及方法，系统包括：PET与MRI配准与标准化模块，对PET和MRI图像进行配准与标准化；移位预测网络模块，对被试者三维脑图像数据拆解成的堆叠的二维图像切片间的结构信息做充分探索并预测出移位数值；空间可变聚合模块，通过可变卷积与移位数值捕捉每张切片相对于其临近切片的代谢残差值，从而达到低剂量图像预强化的目的，加速后续模块执行的效率和提升性能；基于CNN和自适应调权损失的双模态融合编码模块，对预强化的超低剂量PET和MRI切片进行融合；基于生成对抗网络，确保合成全剂量PET图像过程的准确性和高效性，同时进一步提高对图像的语义理解能力。步提高对图像的语义理解能力。步提高对图像的语义理解能力。

【技术实现步骤摘要】
一种基于深度学习的超低剂量PET图像重建系统及方法


[0001]本专利技术涉及医疗图像工程
，特别涉及一种基于深度学习的超低剂量PET图像重建系统及方法。

技术介绍

[0002]随着医学成像技术和人工智能技术的迅猛发展，自动以及半自动的计算机辅助重建以及图像质量增强系统在近年来被逐步应用于剂量降低和绿色诊疗的场景中，以实现降低患者所经受辐射暴露水平，同时提高图像信噪比和病理学解析能力的目的。
[0003]目前，针对人脑病理学分析的图像成像系统主要包括正电子发射计算机断层扫描（PET）、核磁共振成像（MRI）、单光子发射计算机断层扫描（SPECT）、电子计算机断层扫描（CT）和脑电图（EEG），其中PET由于具有精准、定性、定量在内的优势，因此在包括阿尔兹海默症（AD）、轻度认知障碍（MCI）和癫痫（EP）等的检测和预后分析中具有更好的普适性。由于很多基于脑部图像的病理学分析与诊断方案（如：癫痫病灶的定位和形态学分析）均需要通过多次PET扫描来确定，因此导致患者不得不面对多次辐射暴露的风险。根据国际辐射委员会报告，单次PET/CT扫本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的超低剂量PET图像重建系统，其特征在于，该系统包括图像采集模块、PET和MRI配准与标准化模块、移位预测网络模块、空间可变形卷积模块和基于Transformer的跨模态生成对抗网络模块：所述图像采集模块用于采集超低剂量PET图像和MRI图像；所述PET和MRI配准与标准化模块用于同时对超低剂量PET图像和MRI图像进行配准，并将配准后的两个图像标准化到MNI标准脑模板空间，消除个体间由于局部脑形态学差异对这两个图像后续分析造成的潜在影响；所述移位预测网络模块用于将输入的标准化后的超低剂量PET图像和对应的MRI图像拆解为若干紧密堆叠的二维图像切片，并将拆解后的所有超低剂量PET切片输入到基于Unet为骨架的移位预测网络；该过程会将每一帧超低剂量PET切片分别作为目标切片，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值，并将这些移位数值进行输出；所述空间可变形卷积模块用于将移位预测网络模块输出的每一帧超低剂量PET切片的移位数值进行可变形优化，根据移位数值的大小，将自适应地在切片内部的对应位置计算片间残差图，通过片间残差图的叠加，使目标切片进一步自适应地融合临近多帧切片的结构信息，从而预强化每一张超低剂量PET切片，输出强化后的超低剂量PET切片；所述基于Transformer的跨模态生成对抗网络模块包含基于双模态图像融合的卷积编码器模块和基于ResNet生成器和Transformer描述器的生成对抗网络模块：所述基于双模态图像融合的卷积编码器模块包含两种具有不同尺寸卷积核的卷积层，分别对PET切片和MRI切片进行编码，使得经空间可变形卷积模块输出的强化后的每一张超低剂量PET切片与相对应的MRI切片整合，生成并输出融合了MRI结构纹理信息的融合超低剂量PET切片，从而进一步丰富超低剂量PET图像所蕴含的结构模式；所述基于ResNet生成器和Transformer描述器的生成对抗网络模块包括Charbonnier损失函数模块、VGG16
‑
Net感知损失函数模块、ResNet生成器模块和基于Transformer的描述器模块：所述基于ResNet生成器模块，由若干个ResNet块的依次拼接组成；ResNet生成器模块的输入为基于双模态图像融合的卷积编码器模块输出的融合超低剂量PET切片，ResNet生成器的输出为最终合成的全剂量PET图像；所述基于Transformer的描述器模块，将PatchGAN描述器模块与具备注意力机制的Transformer编码模块进行拼接，构造出基于Transformer的描述器；Transformer描述器能对同一张切片内部的所有图像块进行全尺度探索，并能进一步通过注意力机制使得图像块间的关系得到注意力修正，PatchGAN描述器模块由4层卷积层所构成，Transformer编码模块由2个标准化层、1个多头注意力机制层和1个线性层串联而成；所述Charbonnier损失函数模块通过引入L1范数和一个常量，使得ResNet生成器模块输出的合成的全剂量PET图像和采集的真实全剂量PET图像的像素尺度绝对值之差能被严格约束，控制合成全剂量PET图像代谢值的可变范围，同时在像素尺度保证合成结果的稳定性；所述VGG16
‑
Net感知损失函数模块，通过引入预训练好的VGG16
‑
Net模块，进一步提高生成器生成能力，获取更高质量的代谢纹理分布模式，从而使得最终合成的全剂量PET图像
更为可靠、真实。2.根据权利要求1所述的一种基于深度学习的超低剂量PET图像重建系统，其特征在于，所述超低剂量PET图像为注射剂量仅为常规全剂量PET图像所需剂量数额5%的18F
‑
FDG示踪剂注射后经PET
‑
MRI扫描仪成像后的PET图像；PET与MRI配准与标准化模块执行过程中，同时对所有被试者NIFTI格式的超低剂量PET图像和MRI图像进行配准，并将配准后的两个图像均标准化到MNI标准脑模板空间。3.根据权利要求1所述的一种基于深度学习的超低剂量PET图像重建系统，其特征在于，移位预测网络模块执行过程中，将输入的每位被试者的NIFTI格式的标准化后的超低剂量3D PET脑图像和MRI图像拆解为若干紧密堆叠的二维图像切片的具体过程为：其中，是被试者的超低剂量3D PET脑图像，是该被试者的一张二维PET图像切片；是被试者的3D MRI脑图像，是该被试者的一张二维MRI图像切片，是每张切片的高度，是每张切片的宽度，是切片总数量。4.根据权利要求1所述的一种基于深度学习的超低剂量PET图像重建系统，其特征在于，在双模态图像融合卷积编码器模块的编码过程中，包含两种具有不同尺寸卷积核的卷积层，同时对同一模态采用相同大...

【专利技术属性】
技术研发人员：卓成，付钰，田梅，张宏，廖懿，薛乐，董舜杰，
申请(专利权)人：浙江大学，
类型：发明
国别省市：