一种基于深度学习的肺结节检测与剔除方法技术

本发明专利技术公开了一种基于深度学习的肺结节检测与剔除方法，该方法在网络生成结果之前进行融合，对每一个模型的预测结果保留相同权重，使用加权框融合的后处理方法的到最终结果。提出了一种根据连续图片交并比值来判断结节连续性的方法，能够快速实现结节从二维转为三维，并且能够有效的减少误判。本发明专利技术基于二维目标检测模型检测肺结节，更加节省算力，且在检测完毕后结合了三维重构技术，实现了更快速，更精确的肺结节检测，除此之外，提出了Sa

【技术实现步骤摘要】
一种基于深度学习的肺结节检测与剔除方法


[0001]本专利技术设计医学癌症方面的图像检测与重构领域，根据肺部CT图像的特征提出一种能够具有高灵敏度的肺结节检测与重构计算机辅助系统。能够在大量的肺CT图像中精准检测肺结节，并进行假阳性筛选，可以有效实现肺结节的早发现。

技术介绍

[0002]肺癌是全世界癌症死亡的主要原因，大多数患者由于在疾病早期缺乏症状而错过最佳的治疗的时间。因此迫切的需要提出一种准确、快速的肺结节检测网络。常规的深度学习检测方法根据输入数据的形状可以分为二维检测模型和三维检测模型。其步骤一般是将CT数据根据Z轴方向切分成二维图片，或直接将CT数据转为三维张量进行预测，在预测完成后将预测结果进行切分与裁剪步骤再进行假阳性检验，对得到的肺结节进行剔除，得到最终的结果。
[0003]目前基于深度学习的肺结节检测与剔除模型还存在以下困难：
[0004]1、二维模型运算速度快，需要的数据量小，但是只能检测图片中的平面信息，缺少肺结节的连续空间信息，且难以对肺结节的边缘做出细致的判断；
[0005]2、三维模型能够更好的提取肺结节的空间信息，并且对肺结节的边缘形状比较敏感，但是其参数量庞大，运算速度慢，所需要的数据量对于任何研究者来说都是一个难题。

技术实现思路

[0006]本专利技术提出了一种基于深度学习的肺结节检测与剔除方法，主要解决问题如下：
[0007]1、提出了一种不同目标检测网络模型融合的方法，在网络生成结果之前进行融合，对每一个模型的预测结果保留相同权重，使用加权框融合的后处理方法的到最终结果。
[0008]2、提出了一种根据连续图片交并比值来判断结节连续性的方法，能够快速实现结节从二维转为三维，并且能够有效的减少误判。
[0009]本专利技术解决上述技术问题所采用的技术方案为：
[0010]一种基于深度学习的肺结节检测与剔除方法，该方法具体包括以下步骤：
[0011]S1、对待检测三维肺CT影像进行预处理，通过按照时间序列切片的方式将三维肺CT影像转换为二维切片影像，并保留原始序列；
[0012]S2、采用Sa
‑
Yolo目标检测算法和Yolov7目标检测算法对二维切片影像中的肺结节进行检测，并且保留下所有的预测框，不对预测框进行任何的后处理操作；
[0013]S3、选用权重框融合算法对S2所保留下来的预测框进行后处理，将每个预测框的置信度作为权重，一个二维切片影像上的所有预测框进行加权平均，获得一组全新的预测框，这个新的预测框将会更加贴合肺结节，从而保证肺结节大小测量的准确性；
[0014]S4、获取到S3所获得的所有二维切片影像，并按照时间序列进行排序，之后使用肺结节筛选算法对各个二维切片影像中的肺结节进行整合，整合的方法为把每个检出肺结节的二维切片影像与其相邻二维切片影像进行比较，若相邻二维切片影像检出肺结节位置与
当前二维切片影像的肺结节位置相同，则视为一个肺结节，从而达到二维肺结节的三维重构，并能够获得肺结节的三维坐标中点。
[0015]进一步地，S4中的肺结节筛选算法的过程为：
[0016]S4.1、将检测出肺结节的二维切片影像以时间序列以及Z轴方向进行排序，并获取其中每一个肺结节的包围框信息；
[0017]S4.2、第一张二维切片影像中，将该二维切片影像上的肺结节的包围框与下一张二维切片影像上的肺结节的包围框进行交并比计算；
[0018]S4.3、若交并比值满足预设值，则认为该相邻结节系该结节的同一结节的二维切片影像，若不满足预设值，则认为该相邻肺结节为另一肺结节的二维切片影像；
[0019]S4.4、重复此操作，遍历所有肺结节的二维切片影像得到所有同肺结节的二维切片影像序列，将每一个序列的肺结节以Z轴方向重新组合，即可得到只含有一个肺结节的三维肺结节。
[0020]进一步地，根据S1所保留的肺结节序列，结合肺结节在二维切片影像的位置，便能获取到肺结节在三维空间中的坐标。
[0021]S5、在获取了整个肺部CT的肺结节候选者后，需要使用3D卷积网络对三维肺结节进行假阳性分类剔除，若概率大于等于所设定阈值则认为阳性结节，若概率小于所设定阈值，则认为假阳性结节；
[0022]进一步地，S2步骤中的模型融合算法具体包括：
[0023]S2.1、将分割注意力机制引入至YoloX目标检测算法，提出一种Sa
‑
Yolo的目标检测算法，使用Sa
‑
Yolo网络对三维肺CT影像中的肺结节进行检测，并将全部预测框保留；
[0024]S2.2、使用Yolov7对三维肺CT影像中的肺结节进行目标检测，将全部预测框保留；
[0025]S2.3、使用加权框融合(WBF)的后处理方法，将S2.1中所保留的所有预测框融合加权计算得到肺结节的最终目标框；
[0026]进一步地，S3中的权重框融合的后处理方法为，将所有置信度大于阈值的框放入一个集合，将置信度作为权重，将所有框的坐标进行加权，最后整合成一个全新且更加贴合原物体的框。
[0027]进一步地，S5步骤中的3D卷积网络假阳性剔除的具体步骤包括：
[0028]S5.1、获得S4所获得的结节在肺部CT的三维坐标，对整个三维肺部CT切块，切出整个结节所在的区域。
[0029]S5.2、使用三维残差网络对切出CT块进行分类，并输出其属于真实结节的概率。
[0030]进一步地，所述Sa
‑
Yolo的目标检测算法具体包括：
[0031]S1、主干网络模块：通过卷积层对二维切片不断进行下采样，精炼特征信息，输出出20*20,40*40和80*80的精炼特征层。
[0032]S2、特征增强模块：采用Split Attention对多尺度的肺结节融合特征进行权重分配，将特征分成若干块分别进行通道注意力的权重分配，再将每一块肺结节特征拼接，得到肺结节的多尺度融合特征。分割注意力机制将输出特征进行解耦，并且通过全局池化加强了重要特征的权重，以达到主干网络特征增强的目的。
[0033]S3、解耦模块：通过区域生成网络预测出结节坐标以及置信度。
[0034]与现有技术相对，本专利技术具有以下明显优势：
[0035]本专利技术基于二维目标检测模型检测肺结节，更加节省算力，且在检测完毕后结合了三维重构技术，实现了更快速，更精确的肺结节检测，除此之外，提出了Sa
‑
Yolo模型，通过引入分割注意力机制，从而加强了模型对于小结节的检测效果，并且在与Yolov7融合之后，能够获得更精准的结节边界框，总而言之，本专利技术能够更精准，更快速的检测肺结节。
附图说明
[0036]图1是本方法实施的流程图。
[0037]图2Sa
‑
Yolo结构图。
[0038]图3分割注意力结构图。
[0039]图4Yolov7结构图。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的肺结节检测与剔除方法，其特征在于：该方法具体包括以下步骤：S1、对待检测三维肺CT影像进行预处理，通过按照时间序列切片的方式将三维肺CT影像转换为二维切片影像，并保留原始序列；S2、采用Sa
‑
Yolo目标检测算法和Yolov7目标检测算法对二维切片影像中的肺结节进行检测，并且保留下所有的预测框，不对预测框进行任何的后处理操作；S3、选用权重框融合算法对S2所保留下来的预测框进行后处理，将每个预测框的置信度作为权重，一个二维切片影像上的所有预测框进行加权平均，获得一组全新的预测框，这个新的预测框将会更加贴合肺结节，从而保证肺结节大小测量的准确性；S4、获取到S3所获得的所有二维切片影像，并按照时间序列进行排序，之后使用肺结节筛选算法对各个二维切片影像中的肺结节进行整合，整合的方法为把每个检出肺结节的二维切片影像与其相邻二维切片影像进行比较，若相邻二维切片影像检出肺结节位置与当前二维切片影像的肺结节位置相同，则视为一个肺结节，从而达到二维肺结节的三维重构，并能够获得肺结节的三维坐标中点；S5、在获取了整个肺部CT的肺结节候选者后，需要使用3D卷积网络对三维肺结节进行假阳性分类剔除，若概率大于等于所设定阈值则认为阳性结节，若概率小于所设定阈值，则认为假阳性结节。2.根据权利要求1所述的一种基于深度学习的肺结节检测与剔除方法，其特征在于：S4中的肺结节筛选算法的过程为：S4.1、将检测出肺结节的二维切片影像以时间序列以及Z轴方向进行排序，并获取其中每一个肺结节的包围框信息；S4.2、第一张二维切片影像中，将该二维切片影像上的肺结节的包围框与下一张二维切片影像上的肺结节的包围框进行交并比计算；S4.3、若交并比值满足预设值，则认为该相邻结节系该结节的同一结节的二维切片影像，若不满足预设值，则认为该相邻肺结节为另一肺结节的二维切片影像；S4.4、重复此操作，遍历所有肺结节的二维切片影像得到所有同肺结节的二维切片影像序列，将每一个序列的肺结节以Z轴方向重新组合，即可得到只含有一个肺结节的三维肺结节。3.根据权利要求1所述的一种基于深度学习的肺结节检测与剔除方...

【专利技术属性】
技术研发人员：王玉娟，熊一鑫，邓磊，宋永端，金其坚，潘妍睿，陈清，代云飞，王超，
申请(专利权)人：重庆大学，
类型：发明
国别省市：