一种基于NAS-FPN的肺结节检测方法技术

技术编号:27477211 阅读:21 留言:0更新日期:2021-03-02 17:46
本发明专利技术涉及一种基于NAS

【技术实现步骤摘要】
一种基于NAS-FPN的肺结节检测方法


[0001] 本专利技术涉及一种肺结节检测方法,特别是基于NAS-FPN的肺结节检测方法,是深度学习中神经网络架构自动搜索技术(Neural Architecture Search,NAS)和一种特征提取金字塔网络(Feature Pyramid Network,FPN)的结合,不同于现在手动设计肺结节检测网络的检测方式,该方法通过一种可以自动搜索扩展的特征金字塔结构(NAS-FPN),用自主学习、自动搜索的方式自动学习出一种肺结节检测网络完成结节检测任务,可以用于更精准的肺CT影像的肺结节检测,并且有效的降低假阳性结节,为肺部计算机辅助诊断系统提供更加精准、可靠的结节图像。

技术介绍

[0002]肺癌是发病率和死亡率增长最快,对人体健康和生命威胁最大的恶性肿瘤之一。肺结节的诊断对于提高肺癌患者的存活率有着重要的作用。尤其是早期的肺癌CT检查,能及时发现并准确判断肺结节,有助于延长肺癌患者的生存时间,并且大幅度降低肺癌的死亡率。然而肺结节筛查工作量大,易遗漏。影像科医生需要阅读大量的肺部CT图像找出结节并作出临床诊断。为了减少医师的工作量并且提高结节诊断的效率,在临床工作中,已经开始使用计算机辅助诊断技术。
[0003]随着电脑硬件的高速发展,在医学领域中,计算机辅助医学诊断的方法更是已经成为医学影像、诊断放射、计算机科学中的重要领域,其中比传统的方法更加优秀的深度学习进入到医学领域后,已经取得了不少优异的成果,但结节数据集相比于自然图像数据集拥有更加复杂的不规则形状、更小的目标。而FPN网络的特点是顶层包含语义特征信息过高,难以精准还原至低层原始图像,对于小结节检测不是很理想,手动设计修改FPN网络比较困难。
[0004]
技术实现思路

[0005]本专利技术所要解决的技术问题是针对现有FPN网络在检测方面上难以精准还原至原始图像、小结节检测不理想等问题,提出了一种使用NAS自动搜索FPN的NAS-FPN结节检测方法,使FPN网络能够的检测到图像的小结节并确定结节位置,改变了手动设计检测网路的局面,得到更为精准的检测结果。本专利技术通过强化学习控制器在给定的空间搜索出最优的模型框架,由于不知道FPN的跨连接情况,本专利技术设计的针对肺结节检测的NAS-FPN检测网络采用递归神经网络RNN为控制器,用于构建不同的连接,控制器通过子模型在搜索空间中的准确度作为评价标准来更新参数。
[0006]为了实现上述目的,本专利技术的技术方案如下:一种基于神经网络搜索的的可拓展金字塔结构(NAS-FPN)的肺结节检测方法,包括以下步骤:步骤一:为NAS-FPN模型设置所使用的特征提取网络,用该特征提取网络对肺CT图像进行特征提取,建立自底而上的金字塔特征层。
[0007]步骤二:为步骤一提取的金字塔结构建立横向特征层连接,用循环神经网络(RNN)建立NAS的控制器把并用准确度作为奖励方式,通过NAS自动控制横向扩展金字塔结构的数量,直至检测的网络的准确度不再增加,控制器自动停止网络的搜索学习。
[0008]步骤三:用FCN网路对检测到的肺结节的候选框进行最终的筛选,在原始图像上进行结节定位,并输出最终的检测结果。
[0009]所述步骤一中的具体过程如下:(1)选择ResNet-50作为特征提取网络,构建自底而上的金字塔结构。
[0010](2)特征提取所选的图像来自Luna16公开挑战赛的数据集,特征提取时对CT图像进行特征提取,并选取部分特征层输送给NAS-FPN网络。
[0011]所述步骤二中的具体过程如下:(1)用RNN网络做NAS的控制器构建NAS-FPN网络;
①ꢀ
将步骤一特征取后的特征图国建自顶而下的横向连接;
②ꢀ
构建能够选择FPN数量的RNN控制器
③ꢀ
将控制器嵌入到FPN网络中(2)FPN的众多跨连接构成了很大的搜索空间, 在搜素空间中,一个FPN由很多个merging cells 组成,选取一个merging cell的操作如下:
①ꢀ
从候选中选取一个特征层;
②ꢀ
从候选中没有替换地选出另一个特征层
③ꢀ
选择输出特征的分辨率
④ꢀ
选择一个operation操作来融合步骤1和步骤2的特征,然后生成一个分辨率为步骤3的选定新的特征层。
[0012](3)用NAS控制FPN进行横向扩展,并用RNN控制横向扩展的数量。
[0013]①ꢀ
设置初始FPN的数量为1
②ꢀ
设置RNN控制器,控制FPN的数量从1到N依次增加
③ꢀ
控制器使用搜索空间中的子模型的准确性作为更新其参数的奖励信号.
④ꢀ
通过反复试验,控制器可以学习如何随着时间推移生成更好的架构。
[0014]⑤ꢀ
将学习好的框架进行保存,并传给下一层网络所述步骤三中的具体过程如下:(1)将上述生成的候选框进行筛选,控制阈值选出结节区域
①ꢀ
将Focal loss函数引入,减少负样本的数量
②ꢀ
引入调制系数,通过减少易分类样本的权重,从而使得模型在训练时更专注于难分类的样本。
[0015]③ꢀ
控制正负样本对总损失函数的共享权重(2)对包含结节的Anchor进行筛选
①ꢀ
分类子网络在每个空间位置,为A个anchor和K个类别,预测结节的概率
②ꢀ
这个子网络是小的FCN(全卷积网络),与FPN中的每层相接
③ꢀ
这个子网络的参数在整个金字塔的层间共享。设计方法是:如果一个从金字塔某个层里来的Feature map是C个通道,子网络使用四个3*3 的卷积层,C个滤波器,每个都接着Relu激活函数。
[0016]④ꢀ
接下来用 3*3 的卷积层,有KA个滤波器。用sigmoid激活函数对于每个空间位置,输出KA个binary预测
⑤ꢀ
输出包含结节的最优Anchor(3)将检测到结节在原始图片上进行还原并输出带有检测到结节的图片。
附图说明
[0017]图1为本专利技术的流程图;图2为本专利技术的检测网络架构图;图3为本专利技术的merging cell特征选择架构图;图4为本专利技术的NAS-FPN数量与准确率关系图;图5为本专利技术的训练次数和准确率关系图。
具体实施方式
[0018]对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。下面结合附图和实施例对本专利技术的技术方案做进一步的说明。
[0019]本专利技术提供一种基于NAS-FPN的肺结节检测方法,该方法采用NAS-FPN网络在RetinaNet框架下设计出一种利用特征金子塔网络,提取结节多尺度特征,并强化细小结节及边界特征并快速定位结节区域的结节检测网络,为结节分类提供更准确地的结节图片。
[0020]如图1所示,第一个方框代表输入图像的测试集,为后续实验提供数本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于NAS-FPN的肺结节检测方法,其特征在于:深度学习中神经网络架构自动搜索技术(Neural Architecture Search,NAS)和特征提取金字塔网络(Feature Pyramid Network,FPN)的结合,不同于现在手动设计肺结节检测网络的检测方式,该方法通过一种可以自动搜索扩展的特征金字塔结构(NAS-FPN),用自主学习、自动搜索的方式自动学习出一种肺结节检测网络完成结节检测任务,可以用于更精准的肺CT影像的肺结节检测,并且有效的降低假阳性结节,为肺部计算机辅助诊断系统提供更加精准、可靠的结节图像;本发明提出的检测框架由三部分组成,特征提取部分(Resnet部分),NAS-FPN部分(Resnet部分层特征),FCN部分(分类和回归);首先,先用自下而上Resnet50做特征提取,多个FPN组合构成NAS-FPN,构成自上而下横向连接;自底而上的路径通常是特征提取的卷积网络,自底而上,空间分辨率递减,检测更多的高层结构,网络层语义相应增加,所以一般情况下,低层的分辨率高,但是语义值不够高,目标检测时,不使用这些层,而自上而下的路径,基于语义丰富层构建的分辨率较高的层,尽管重建语义足够丰富,但是经过这些下采样和上采样过程,目标位置就不再准确了,因此在重建层和相应的特征映射间增加横向连接,可以帮助检测器更好的预测位置,并且同时起到了跳跃连接的作用;用NAS自动搜索FPN的NAS-FPN结节检测方法,使FPN网络能够的检测到图像的小结节并确定结节位置,改变了手动设计检测网路的局面,得到更为精准的检测结果通过强化学习控制器在给定的空间搜索出最优的模型框架,由于不知道FPN的跨连接情况,我们设计的针对肺结节检测的NAS-FPN检测网络采用递归神经网络RNN为控制器,用于构建不同的连接,控制器通过子模型在搜索空间中的准确度作为评价标准来更新参数。2.根据权利要求1所述的一种基于NAS-FPN的肺结节检测方法,其特征在于:一种基于NAS-FPN的肺结节检测方法的具体包括以下步骤:Step 1:为NAS-FPN模型设置所使用的特征提取网络,用该特征提取网络对肺CT图像进行特征提取,建立自底而上的金字塔特征层;Step 2:为步骤一提取的金字塔结构建立横向特征层连接,用循环神经网络(RNN)建立NAS的控制器把并用准确度作为奖励方式,通过NAS自动控制横向扩展金字塔结构的数量,直至检测的网络的准确度不在增加,控制器自动停止网络的搜索学习;Step 3:用FCN网路对检测到的肺结节的候选框进行最终的筛选,在原始图像上进行结节定位,并输出最终的检测结果;所述Step 1中的具体过程如下:Step 1.1:NAS-FPN模型选取用的特征提取网络,并应于肺CT图像上进行特征提取Step1.1.1:选择ResNet-50 为特征提取网络;Step1.1.2:按照特征图提取顺序建立自底而上的特征提取网络;Step1.1.3:对特征网络进行筛选抽样,抽取一部分特征层用于横向连接,为下面的步骤做准备;Step 1.2:特征提取的数据集来自Luna16数据集,数据集在训练之前进行预处理,预处理的步骤在下面会进行介绍所述Step 2中的具体过程如下:Step 2.1:首先对数据集进行预处...

【专利技术属性】
技术研发人员:王昕王伟博韩优佳刘爽周长才
申请(专利权)人:长春工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1