一种基于三维掩模-区域卷积神经网络的肺癌筛查方法技术

一种基于三维掩模‑区域卷积神经网络的肺癌筛查方法，用于肺癌的筛查。由于肺癌的临床CT表现皆是肺结节，本方法由两个步骤组成，第一步找到疑似肺结节的回归框，第二步对疑似结节进行分类，找到疑似为癌症病灶的结节。方法基于三维掩模‑区域卷积神经网络对肺结节进行检测，并使之能够适用于CT数据。由于并非所有结节都是癌症，因此需要综合考虑患者影像征象来推断其罹患癌症的可能性。为了提高分类的准确率，适用三维数据获取疑似结节的周围结构，综合判断疑似结节属于癌症病灶的概率。

【技术实现步骤摘要】
一种基于三维掩模-区域卷积神经网络的肺癌筛查方法
本专利技术属于医学图像人工智能识别与辅助诊断领域，具体的为一种基于三维掩模-区域卷积神经网络的肺癌筛查方法。
技术介绍
我国患肺癌人数多，发病率高，医疗花费大。按发病人数顺位排序，肺癌占所有癌症的20.3％，位居恶性肿瘤发病首位。据国家肿瘤质控中心发布的《2019年全国癌症报告》，恶性肿瘤死亡高达居民全部死因的23.91％，且近十几年来恶性肿瘤的发病死亡呈持续上升态势,每年恶性肿瘤所致的医疗花费超过2200亿。在临床诊断过程中，医生需要在数百张CT影像中，逐张筛查可能的肺癌病灶，这不仅极大地依赖于医生的临床经验，且极其耗时耗力。因此，急需设计计算机辅助肺癌筛查系统，以简化医生的筛查工作，缩短诊断时间。随着深度学习的迅速发展，基于卷积神经网络的肺癌筛查方法被广泛研究。传统的肺癌检测基于一些简单的先验信息来检测候选结节，例如结节在2D影像上表现得近似圆形，具有较高的CT值，将先验信息归纳为数学上的特征，再通过分类器进行分类，得到检测结果。但由于肺结节在形状、大小和纹理上的高度差异，通过人工归纳的低阶特征提取很难捕获辨别特征，导致较差的检测结果。同时，仅从单一图像判断结节的良恶性收到诸多限制，尽管一些2D或者2.5D深度神经网络在降低假阳性方面取得了不错的表现，但使用3DCT数据，结合病灶的三维空间信息能有效提高检测的灵敏度，这一点目前较少方法能够做到。
技术实现思路
本专利技术的目的提供一种基于三维掩模-区域卷积神经网络的肺癌筛查方法，用于有效判定肺结节的良恶性，准确地进行肺癌的早期筛查。根据本专利技术的一方面，一种基于三维掩模-区域卷积神经网络的肺癌筛查方法，包括如下步骤：第一步：数据标记，对多个不同患者的肺部CT薄层扫描数据，记录CT数据中的肺结节的三维位置，并根据临床经验和活检信息，标记对应肺结节的良恶性；第二步：数据预处理，将CT数据在三个方向上插值成等分辨率，剪裁数据只保留肺脏区域；第三步：检测模型的构建与训练，使用基于三维掩模-区域卷积神经网络作为肺结节检测模型；第四步：根据训练后的模型，对CT数据进行肺结节检测，输出疑似肺结节的像素立方体，包括肺结节中心点坐标和大小；第五步：分类模型的构建与训练，使用三维卷积神经网络作为肺结节良恶性的分类模型；第六步：输出恶性概率最高的肺结节中心点坐标和大小，用于进一步的临床报告。优选的，第二步中，数据预处理中：2.1)根据DICOM格式的CT数据，获得数据的空间分辨率；以最小分辨率为基准，使用线性插值使数据在三个方向上分辨率相同；2.2)人体肺脏分为两部分，分别为左肺与右肺；同时由于肺脏内大部分为空气，而空气的CT值为0，通过区域生长算法找到插值后数据中所有CT值为0、大小不一的空腔，根据分辨率计算每个空腔的体积；2.3)根据经验，人体肺脏的容积在500到10000cm3的范围，属于这个容积范围且最大的两个空腔被认为是肺脏；2.4)使用形态学滤波，填补空腔中由于肺内血管造成的空洞，滤波范围设定为5个像素大小；2.5)对插值后数据进行裁剪，只保留肺脏区域的数据，减少后续计算时间。本专利技术的有益效果：提出了一个使用深度学习方法对CT影像中的肺小结节进行检测和分类的方法，本方法基于三维掩模-区域卷积神经网络(3DMaskR-CNN)对肺结节进行检测，并使之能够适用于CT数据。由于并非所有结节都是癌症，因此需要综合考虑患者影像征象来推断其罹患癌症的可能性。为了提高分类的准确率，适用三维数据获取疑似结节的周围结构，综合判断疑似结节属于癌症病灶的概率。附图说明图1为本专利技术检测模型网络结构；图2为ResNet-FPN网络示意图；图3为分类模型网络结构；图4检测模型得到的FROC曲线；图5实际病例中检测到的疑似肺癌区域；图6实际病例中对疑似肺癌区域的分类结果，数值越接近于1，表明恶性病灶(肺癌)的概率越大；图7在医学图像浏览系统中可视化的结果，红框的形式显示疑似肺癌的病灶区域。具体实施方式下面结合附图说明和实施例对本专利技术作进一步的说明。图1-7中，一种基于三维掩模-区域卷积神经网络的肺癌筛查方法，包括如下步骤：第一步：数据标记，准备多个不同患者的肺部CT薄层扫描数据，记录CT数据中的肺结节的三维位置，并根据临床经验和活检信息，标记对应肺结节的良恶性。第二步：数据预处理，将CT数据在三个方向上插值成等分辨率，剪裁数据只保留肺脏区域。第三步：检测模型的构建与训练，使用基于三维掩模-区域卷积神经网络作为肺结节检测模型。第四步：根据训练后的模型，对CT数据进行肺结节检测，输出疑似肺结节的像素立方体，包括肺结节中心点坐标和大小。第五步：分类模型的构建与训练，使用三维卷积神经网络作为肺结节良恶性的分类模型。第六步：输出恶性概率最高的肺结节中心点坐标和大小，用于进一步的临床报告。在一些实施例中，第二步中，数据预处理1.1根据DICOM格式的CT数据，获得数据的空间分辨率；以最小分辨率为基准，使用线性插值使数据在三个方向上分辨率相同。1.2人体肺脏分为2部分，分别为左肺与右肺；同时由于肺脏内大部分为空气，而空气的CT值为0，通过区域生长算法找到插值后数据中所有CT值为0、大小不一的空腔，根据分辨率计算每个空腔的体积。1.3根据经验，人体肺脏的容积在500到10000cm3的范围，属于这个容积范围且最大的两个空腔被认为是肺脏1.4使用形态学滤波，填补空腔中由于肺内血管造成的空洞，滤波范围设定为5个像素大小。1.5对插值后数据进行裁剪，只保留肺脏区域的数据，减少后续计算时间。在一些实施例中，第三步中，检测模型的构建与训练：2.1检测模型使用基于三维掩模-区域卷积神经网络，网络结构如图1所示，包括三个部分：第一部分是ResNet-FPN组成的层级相连结构，其中包含上采样、下采样和层与层之间相连的级联结构；第二部分是区域建议网络对于提取的特征图，生成区域建议，进行感兴趣区域对齐(RegionofInterestsAlign，ROIAlign)；第三部分是计算损失函数。2.2ResNet-FPN网络包括从下到上的下采样，从上到下的上采样以及横向的级联部分。从下到上的下采样路径，由一系列的卷积层和最大池化层组成，如图2所示，用于特征图提取。根据输出特征图的大小，特征提取分为5个阶段，阶段2、阶段3、阶段4和阶段5各自最后一层输出卷积2、卷积3、卷积4和卷积5分别定义为C2，C3，C4和C5。在FPN的下采样阶段，首先是卷积层，卷积核大小为7×7×7，步长为2，然后是一个3×3×3大小的最大池化层，对图像进行粗略的特征提取。层与层之间有不同个数的残差块(ResBlock)进行连接，C2有3个残差块相连，C3有4个残差块相连，C4有6个残差块相连，C5有3个残差块相本文档来自技高网...

【技术保护点】
1.一种基于三维掩模-区域卷积神经网络的肺癌筛查方法，其特征在于，包括如下步骤：/n第一步：数据标记，对多个不同患者的肺部CT薄层扫描数据，记录CT数据中的肺结节的三维位置，并根据临床经验和活检信息，标记对应肺结节的良恶性；/n第二步：数据预处理，将CT数据在三个方向上插值成等分辨率，剪裁数据只保留肺脏区域；/n第三步：检测模型的构建与训练，使用基于三维掩模-区域卷积神经网络作为肺结节检测模型；/n第四步：根据训练后的模型，对CT数据进行肺结节检测，输出疑似肺结节的像素立方体，包括肺结节中心点坐标和大小；/n第五步：分类模型的构建与训练，使用三维卷积神经网络作为肺结节良恶性的分类模型；/n第六步：输出恶性概率最高的肺结节中心点坐标和大小，用于进一步的临床报告。/n

【技术特征摘要】
1.一种基于三维掩模-区域卷积神经网络的肺癌筛查方法，其特征在于，包括如下步骤：
第一步：数据标记，对多个不同患者的肺部CT薄层扫描数据，记录CT数据中的肺结节的三维位置，并根据临床经验和活检信息，标记对应肺结节的良恶性；
第二步：数据预处理，将CT数据在三个方向上插值成等分辨率，剪裁数据只保留肺脏区域；
第三步：检测模型的构建与训练，使用基于三维掩模-区域卷积神经网络作为肺结节检测模型；
第四步：根据训练后的模型，对CT数据进行肺结节检测，输出疑似肺结节的像素立方体，包括肺结节中心点坐标和大小；
第五步：分类模型的构建与训练，使用三维卷积神经网络作为肺结节良恶性的分类模型；
第六步：输出恶性概率最高的肺结节中心点坐标和大小，用于进一步的临床报告。


2.根据权利要求1所述的基于三维掩模-区域卷积神经网络的肺癌筛查方法，其特征在于，第二步中，数据预处理中：
2.1)根据DICOM格式的CT数据，获得数据的空间分辨率；以最小分辨率为基准，使用线性插值使数据在三个方向上分辨率相同；
2.2)人体肺脏分为两部分，分别为左肺与右肺；同时由于肺脏内大部分为空气，而空气的CT值为0，通过区域生长算法找到插值后数据中所有CT值为0、大小不一的空腔，根据分辨率计算每个空腔的体积；
2.3)人体肺脏的容积在500到10000cm3的范围，属于这个容积范围且最大的两个空腔被认为是肺脏；
2.4)使用形态学滤波，填补空腔中由于肺内血管造成的空洞，滤波范围设定为五个像素大小；
2.5)对插值后数据进行裁剪，只保留肺脏区域的数据，减少后续计算时间。


3.根据权利要求1所述的基于三维掩模-区域卷积神经网络的肺癌筛查方法，其特征在于，第三步中，检测模型的构建与训练：
检测模型使用基于三维掩模、区域卷积神经网络，包括三个部分：第一部分是ResNet-FPN网络组成的层级相连结构，其中包含上采样、下采样和层与层之间相连的级联结构；第二部分是区域建议网络对于提取的特征图，生成区域建议，进行感兴趣区域对齐；第三部分是计算损失函数。


4.根据权利要求3所述的基于三维掩模-区域卷积神经网络的肺癌筛查方法，其特征在于，第三步中，检测模型的构建与训练：
ResNet-FPN网络包括从下到上的下采样，从上到下的上采样以及横向的级联部分；从下到上的下采样路径，由一系列的卷积层和最大池化层组成，用于特征图提取。


5.根据权利要求4所述的基于三维掩模-区域卷积神经网络的肺癌筛查方法，其特征在于：根据输出特征图的大小，特征提取分为五个阶段，阶段二、阶段三、阶段四和阶段五各自最后一层输出卷积二、...

【专利技术属性】
技术研发人员：袁戎，袁知东，冯飞，成管讯，
申请(专利权)人：北京大学深圳医院，
类型：发明
国别省市：广东;44