基于深度学习的肺部CT图像重建方法技术

技术编号：40317739 阅读：9 留言：0更新日期：2024-02-07 21:00

本发明专利技术涉及一种基于深度学习的肺部CT图像重建方法，包括以下步骤：(1)肺部CT图像的采集与预处理；(2)基于人体肺实质的图像信息，提取仅包含肺实质的局部区域；(3)基于数字重建放射影像方法DRR模拟生成X射线图像，构建包含X‑CT图像的数据集；(4)构建X2CT‑Net模型，学习X射线图像与CT图像之间的映射关系，重建出三维CT图像；(5)将重建的CT图像作为输入，构建基于YOLOv5的肺结节检测模型，验证生成图像的质量；本发明专利技术使用两个正交平面的X射线图像作为输入，基于生成对抗网络GAN构建X2CT‑Net模型进行肺部CT图像重建，解决现有技术问题，有效缓解医疗资源紧张以及医疗资源不平衡问题。

全部详细技术资料下载

【技术实现步骤摘要】

[]本专利技术属于医学图像处理，具体地说是一种基于深度学习的肺部ct图像重建方法。

技术介绍

0、[
技术介绍
]

1、目前，计算机断层扫描(computed tomography,ct)已广泛应用于临床检查中。传统的ct重建方法通过旋转扫描，从多个角度获取数百个x射线投影进行三维重建。然而，ct扫描会给患者带来更多的辐射剂量。并且，ct扫描仪相比于x射线机器成本要高得多。

2、因此，若能提供一种使用x射线图像生成ct图像的替代方法将具有重大的实用意义：(1)利用少量的x射线图像进行ct图像重建可以显著减少对患者的辐射剂量，降低健康风险；(2)使用x射线图像进行重建更为方便快捷，做到快速筛查，缓解医疗资源紧张问题；(3)x射线机器相比于ct扫描成本更低，可有效果缓解医疗资源不平衡的问题。

3、在满足临床需求的情况下，通过使用低剂量的x射线图像生成ct图像是目前医学成像的热点问题，具备实用意义与参考价值。然而，现有的ct重建技术仍具有以下局限性：

4、(1)传统的ct重建算法如滤波反投影算法(fbp)极大取决于所采集的投影数据的质量。然而，在投影数据降噪过程中不可避免地会导致图像原有细节的损失，导致重建ct图像的分辨率下降。

5、(2)基于深度学习的ct重建技术通过单张x射线图像，构建卷积神经网络模型隐式地学习x射线图像到ct图像的非线性映射关系，对ct图像进行重建。然而，x射线图像内部信息存在严重的模糊性，仅通过单张x射线图像无法充分学习映射关系，导致算法性能具有局限性。</p>

技术实现思路

0、[
技术实现思路
]

1、本专利技术的目的就是要解决上述的不足而提供一种基于深度学习的肺部ct图像重建方法，使用两个正交平面的x射线图像作为输入，基于生成对抗网络gan构建x2ct-net模型进行肺部ct图像重建，解决现有技术问题，并有效缓解医疗资源紧张以及医疗资源不平衡的问题。

2、为实现上述目的设计一种基于深度学习的肺部ct图像重建方法，包括以下步骤：

3、(1)肺部ct图像的采集与预处理；

4、(2)基于人体肺实质的图像信息，提取仅包含肺实质的局部区域；

5、(3)基于数字重建放射影像方法drr模拟生成x射线图像，构建包含x-ct图像的数据集；

6、(4)构建x2ct-net模型，学习x射线图像与ct图像之间的映射关系，重建出三维ct图像。

7、进一步地，步骤(1)中，使肺部区域处于扫描范围内，通过ct扫描仪发射x射线束并记录图像数据得到肺部ct图像，并对其进行包括但不限于重采样、归一化的操作完成预处理。

8、进一步地，步骤(2)中，首先，根据肺实质hu值与其他器官的差异，基于全局阈值分割法对肺部ct图像进行粗分割；其次，通过形态学闭运算、取反、设置最大联通区域等操作去除干扰；然后，得到躯干的掩膜，通过对掩膜进行孔洞填充并与之相减得到肺实质的掩膜，并通过设置连通区域大小去除肺气管；最后，将肺实质的掩膜与原图相乘，得到分割后的肺实质图像。

9、进一步地，步骤(3)中，通过在ct扫描数据中选取感兴趣区域，在光源位置从每一个视角释放出一组投影射线穿过感兴趣区域，在每条射线上进行等间距采样，并利用插值法由距离采样点最近的8个体素计算出该采样点的ct值对应的衰减系数；然后对所有采样点的衰减系数进行相加，得到该条x射线对应成像平面上的像素点的灰度值；针对每条x射线重复该操作，将像素点合成为drr图像，通过该算法生成后前位以及侧位的模拟x射线图像，构成x-ct配对的数据集。

10、进一步地，步骤(4)中，基于生成对抗网络构建x2ct-net模型，包含生成器与判别器；其中，生成器包括两个u形网络，分别用于学习两种不同平面的x射线图像与ct图像之间的映射关系；生成器的输入为两个正交平面的x射线图像，u形网络为编-解码器的对称结构；编码器由4个残差卷积模块构成，用于提取x射线图像特征，每个残差卷积模块中包含3×3的二维卷积层、批次归一化层以及relu激活函数；解码器由4个上采样模块构成，从提取的二维特征中重建三维体数据，得到输出结果ct图像，每个上采样模块中包含3×3×3的三维卷积层以及relu激活函数；判别器由4×4×4的三维卷积层、批次归一化层以及relu激活函数组成，用于区分生成样本与真实样本。

11、进一步地，步骤(4)中，根据图像编码阶段的特点，提出三种跳跃连接方式；首先，通过对全连接层进行扩展，构建跳跃连接模块concata，该模块将最后一个编码器的输出展平拉长为一个一维向量，以更好地重建为三维特征；其次，在同一阶段的编码器与解码器之间构建跳跃连接模块concatb，通过二维卷积模块将编解码器两端的特征通道进行对齐，并复制二维图像特征，扩展为三维图像特征，使用三位卷积模块进行特征编码，该模块将低级的二维图像特征传递给三维的解码器，弥补三维重建过程中的图像细节，使输入与输出之间的轮廓形状具有很高的相关性；最后，在两个并行u形网络的解码器之间构建跳跃连接模块concatc，将每个阶段解码器的输出进行通道拼接，得到融合特征，以融合两个不同平面x射线的特征，使模型学习得到更为充分的映射关系，通过计算两个解码器输出之间的相似程度，并将其通过反向传播来进行参数更新。

12、进一步地，步骤(4)中，根据目标任务与图像特点，对损失函数进行改进，提出混合损失函数优化模型训练过程；混合损失函数主要由对抗损失、重建损失以及投影损失构成，其中，对抗损失用于区分真实数据分布以及对应的生成数据分布，其表达式如下：

13、

14、

15、其中，x为输入的两个正交平面的x射线图像，y为ct图像；λ1＝0.1为对抗损失函数权重；

16、通过使用均方误差mse作为重建损失，其表达式如下：

17、

18、其中，λ2＝10为重建损失函数权重；

19、为简化生成样本与真实样本之间的匹配过程，通过选取生成三维ct图像的三个正交平面，并将其与真实样本所对应的平面进行匹配，作为投影损失，其表达式如下：

20、

21、其中，pax、pco、psa为轴向、冠状面和矢状面的投影；通过计算生成投影与真实投影的l1范数，用于增强图像边缘的学习能力；λ3＝10为投影损失函数权重；

22、因此，最终的混合损失函数定义如下：

23、

24、

25、还包括步骤(5)：将重建的ct图像作为输入，构建基于yolov5的肺结节检测模型，以验证生成图像的质量。

26、进一步地，步骤(5)中，通过步骤(4)生成的肺部ct图像，对其中大于3mm的肺结节进行标注，构建肺结节检测数据集，并对其进行划分，其中，训练集、验证集、测试集为8：1：1；在原有损失函数的基础上增加focal loss损失函数，如下所示：

27、fl(pt)＝-αt(1-pt)本文档来自技高网...

【技术保护点】

1.一种基于深度学习的肺部CT图像重建方法，其特征在于，包括以下步骤：

2.如权利要求1所述的方法，其特征在于：步骤(1)中，使肺部区域处于扫描范围内，通过CT扫描仪发射X射线束并记录图像数据得到肺部CT图像，并对其进行包括但不限于重采样、归一化的操作完成预处理。

3.如权利要求1所述的方法，其特征在于：步骤(2)中，首先，根据肺实质HU值与其他器官的差异，基于全局阈值分割法对肺部CT图像进行粗分割；其次，通过形态学闭运算、取反、设置最大联通区域等操作去除干扰；然后，得到躯干的掩膜，通过对掩膜进行孔洞填充并与之相减得到肺实质的掩膜，并通过设置连通区域大小去除肺气管；最后，将肺实质的掩膜与原图相乘，得到分割后的肺实质图像。

4.如权利要求1所述的方法，其特征在于：步骤(3)中，通过在CT扫描数据中选取感兴趣区域，在光源位置从每一个视角释放出一组投影射线穿过感兴趣区域，在每条射线上进行等间距采样，并利用插值法由距离采样点最近的8个体素计算出该采样点的CT值对应的衰减系数；然后对所有采样点的衰减系数进行相加，得到该条X射线对应成像平面上的像素点的灰度

5.如权利要求1所述的方法，其特征在于：步骤(4)中，基于生成对抗网络构建X2CT-Net模型，包含生成器与判别器；其中，生成器包括两个U形网络，分别用于学习两种不同平面的X射线图像与CT图像之间的映射关系；生成器的输入为两个正交平面的X射线图像，U形网络为编-解码器的对称结构；编码器由4个残差卷积模块构成，用于提取X射线图像特征，每个残差卷积模块中包含3×3的二维卷积层、批次归一化层以及ReLU激活函数；解码器由4个上采样模块构成，从提取的二维特征中重建三维体数据，得到输出结果CT图像，每个上采样模块中包含3×3×3的三维卷积层以及ReLU激活函数；判别器由4×4×4的三维卷积层、批次归一化层以及ReLU激活函数组成，用于区分生成样本与真实样本。

6.如权利要求5所述的方法，其特征在于：步骤(4)中，根据图像编码阶段的特点，提出三种跳跃连接方式；首先，通过对全连接层进行扩展，构建跳跃连接模块ConcatA，该模块将最后一个编码器的输出展平拉长为一个一维向量，以更好地重建为三维特征；其次，在同一阶段的编码器与解码器之间构建跳跃连接模块ConcatB，通过二维卷积模块将编解码器两端的特征通道进行对齐，并复制二维图像特征，扩展为三维图像特征，使用三位卷积模块进行特征编码，该模块将低级的二维图像特征传递给三维的解码器，弥补三维重建过程中的图像细节，使输入与输出之间的轮廓形状具有很高的相关性；最后，在两个并行U形网络的解码器之间构建跳跃连接模块ConcatC，将每个阶段解码器的输出进行通道拼接，得到融合特征，以融合两个不同平面X射线的特征，使模型学习得到更为充分的映射关系，通过计算两个解码器输出之间的相似程度，并将其通过反向传播来进行参数更新。

7.如权利要求6所述的方法，其特征在于，步骤(4)中，根据目标任务与图像特点，对损失函数进行改进，提出混合损失函数优化模型训练过程；混合损失函数主要由对抗损失、重建损失以及投影损失构成，其中，对抗损失用于区分真实数据分布以及对应的生成数据分布，其表达式如下：

8.如权利要求1至7中任一项所述的方法，其特征在于，还包括步骤(5)：将重建的CT图像作为输入，构建基于YOLOv5的肺结节检测模型，以验证生成图像的质量。

9.如权利要求8所述的方法，其特征在于，步骤(5)中，通过步骤(4)生成的肺部CT图像，对其中大于3mm的肺结节进行标注，构建肺结节检测数据集，并对其进行划分，其中，训练集、验证集、测试集为8：1：1；在原有损失函数的基础上增加FocalLoss损失函数，如下所示：

10.如权利要求9所述的方法，其特征在于：步骤(5)中，肺结节检测模型的骨干网络采用在ImageNet上的预训练的ResNet-34网络，用于初始化模型参数，增强训练效果；针对现有数据集的图像特点与分布特性，对原有损失函数进行改进，缓解数据类不平衡的特点；最后用测试图像进行测试验证所生成CT图像的质量。

...

【技术特征摘要】

1.一种基于深度学习的肺部ct图像重建方法，其特征在于，包括以下步骤：

2.如权利要求1所述的方法，其特征在于：步骤(1)中，使肺部区域处于扫描范围内，通过ct扫描仪发射x射线束并记录图像数据得到肺部ct图像，并对其进行包括但不限于重采样、归一化的操作完成预处理。

3.如权利要求1所述的方法，其特征在于：步骤(2)中，首先，根据肺实质hu值与其他器官的差异，基于全局阈值分割法对肺部ct图像进行粗分割；其次，通过形态学闭运算、取反、设置最大联通区域等操作去除干扰；然后，得到躯干的掩膜，通过对掩膜进行孔洞填充并与之相减得到肺实质的掩膜，并通过设置连通区域大小去除肺气管；最后，将肺实质的掩膜与原图相乘，得到分割后的肺实质图像。

4.如权利要求1所述的方法，其特征在于：步骤(3)中，通过在ct扫描数据中选取感兴趣区域，在光源位置从每一个视角释放出一组投影射线穿过感兴趣区域，在每条射线上进行等间距采样，并利用插值法由距离采样点最近的8个体素计算出该采样点的ct值对应的衰减系数；然后对所有采样点的衰减系数进行相加，得到该条x射线对应成像平面上的像素点的灰度值；针对每条x射线重复该操作，将像素点合成为drr图像，通过该算法生成后前位以及侧位的模拟x射线图像，构成x-ct配对的数据集。

5.如权利要求1所述的方法，其特征在于：步骤(4)中，基于生成对抗网络构建x2ct-net模型，包含生成器与判别器；其中，生成器包括两个u形网络，分别用于学习两种不同平面的x射线图像与ct图像之间的映射关系；生成器的输入为两个正交平面的x射线图像，u形网络为编-解码器的对称结构；编码器由4个残差卷积模块构成，用于提取x射线图像特征，每个残差卷积模块中包含3×3的二维卷积层、批次归一化层以及relu激活函数；解码器由4个上采样模块构成，从提取的二维特征中重建三维体数据，得到输出结果ct图像，每个上采样模块中包含3×3×3的三维卷积层以及relu激活函数；判别器由4×4×4的三维卷积层、批次归一化层以及relu激活函数组成，用于区分生成样本与真实样本。

6.如权利要求5所...

【专利技术属性】
技术研发人员：康帅，陈飞蛟，李昕帝，张东霞，任娟，
申请(专利权)人：上海睿触科技有限公司，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人