基于三维残差网络的图像检测系统及方法技术方案

一种基于三维残差网络的图像检测系统及方法，包括：预处理模块、网络训练模块、候选图生成模块以及多维度残差网络识别模块，本发明专利技术基于Faster‑RCNN网络的分割网络实现候选结节的获取，使用多维度的3D残差网络实现假阳性减少，为适应结节大小变化范围广的特发，设计了三种输入大小的Resnet3D，并使用权重的方式组合三种网络，获得组合概率，实现利用CT图像提高肺结节检出率，减少假阳性结节。

Image detection system and method based on 3D residual network

An image detection system based on Three-dimensional residual network, including: preprocessing module, network training module, candidate graph generation module and multi dimension residual network recognition module, the invention is based on the segmentation network of Faster RCNN network to obtain the candidate nodules, and uses a multi dimension 3D residual network to realize false positive. Three types of Resnet3D were designed to adapt to the wide variety of nodules, and three kinds of networks were combined with weight. The combination probability was obtained. The detection rate of lung nodules was improved by using CT image and the false positive nodules were reduced.

【技术实现步骤摘要】
基于三维残差网络的图像检测系统及方法
本专利技术涉及的是一种图像处理领域的技术，具体是一种基于三维残差网络(Resnet3D)的图像检测系统及方法。
技术介绍
传统的统计机器学习方法通过提取图像的纹理，颜色，灰度等预先定义好的图像特征，在使用分类算法比如径向支持向量机进行分类，传统的方法在图像处理方面已经比较成熟了，并取得了一定的成果，在进行CT图像的预处理之后，检测肺结节系统通常分为两步，第一步获取候选结节，检测出CT图像中存在结节的区域，此步骤会产生大量的假阳性结节，第二步是真假阳性的分类，从候选结节中筛选出阳性结节，减少假阳性结节的存在。与传统的机器学习方法相比，深度学习不需要手动设置的特征提取器，并已经在许多视觉对象识别应用中显示出优越的性能。
技术实现思路
本专利技术针对现有技术存在的上述不足，提出一种基于三维残差网络的图像检测系统及方法，基于Faster-RCNN网络的分割网络实现候选结节的获取，使用多维度的3D残差网络实现假阳性减少，为适应结节大小变化范围广的特发，设计了三种输入大小的Resnet3D，并使用权重的方式组合三种网络，获得组合概率，实现利用CT图像提高肺结节检出率，减少假阳性结节。本专利技术是通过以下技术方案实现的：本专利技术涉及一种基于三维残差网络的图像检测系统，包括：预处理模块、候选结节选取模块以及假阳性筛选模块，其中：预处理模块是对数据集进行整理和提取，基于Faster-RCNN的候选结节模块使用预处理模块的数据集，进行网络模型训练，生成候选结节，基于多维度残差网络的使用候选结节选取模块得到的候选结节进行网络训练。本专利技术涉及上述图像检测系统的检测方法，其具体步骤如下：步骤1)对CT图像进行预处理，即对CT图像依次进行重采样、提取肺实质和CT图像归一化。所述的重采样是指：重采样是为了实现图像的像素间隔统一，采用1mm对应1个像素的统一像素间隔，获取CT图像的像素间隔信息，通过三维线性插值方式，根据不同CT图像的像素间隔信息，对图像进行相应缩放操作，实现所有图像的像素间隔统一；所述的提取肺实质是指：对肺部CT图像进行二值分割，对图像进行消除边界，去除空气成分，对二值化的图像中的连通区域进行筛选，选出面积最大的两块连通区域作为肺叶的轮廓，对肺叶内部的空白区域进行填充，消除肺内气泡的影响，保证肺内部组织能够完整的保留下来，对肺部边缘进行平滑处理，并保留边缘部位，防止遗漏肺部边缘的结节。所述的CT图像归一化是指：重采样之后的CT图像的数值范围是[-2000、3000]，其单位是亨氏单位，肺实质以及内部组织的数值范围通常在[-1000，4000]亨氏单位之间，因此将数值小于-1000的设置为-1000，数值大于400的数值设置为400，接下来对CT图像的每个像素值进行归一化，计算第i张CT切片的均值为Mi，标准差为Si，按照Ii＝(Ii-Mi)/Si计算图像的值，对每张图像都进行归一化。归一化是为了避免结节信号强度的不一致，造成特征信息提取的不准确。步骤2)训练基于Faster-RCNN的分割网络并实现结节的区域选取，然后使用图像处理方法修正候选结节的区域，具体包括：2.1)在训练Faster-RCNN网络时，使用优化后的损失函数进行反向传播以避免由负样本数量过多导致误差函数被其主导；2.2)将整张图片输入基于Faster-RCNN的卷积网络，进行特征提取，将建议窗口映射到卷积网络的最后一层卷积特征图上，生成固定大小的建议窗口；2.3)对分割图像进行二值化处理，将前景区域和背景区域分开，使用形态学的操作降低噪声，计算结节区域的三维连通区域的重心，该重心即为候选结节的中心，获得训练集的结节概率分布，对距离相近的连通区域进行合并操作。步骤3)采用正负样本集训练三维残差网络Resnet，进行候选结节的图像相似性判断。所述的正负样本集，采用但不限于以下方式得到：使用步骤2)获得候选结节后，根据候选结节的中心，裁剪出边长分别为20mm、30mm和40mm的三维正方体块，这些图像块为真阳性结节的样本，对阳性结节进行平移，多角度旋转和随机裁剪等操作，扩大阳性结节的样本集，非结节的样本集可以在肺内部进行随意裁剪，或根据医师标注的信息获取非结节样本，非结节样本集的三维图像边长与阳性结节相同，分别为20mm、30mm和40mm，得到三组正负样本集，其大小分别为20*20*20mm3、30*30*30mm3和40*40*40mm3；所述的多维度残差网络，通过但不限于以下方式构建得到：基于三组样本集构建三维残差网络Resnet，根据三组样本集的大小，设计输入大小不同的三种Resnet3D网络，以提取不同的特征，三组网络的输入与样本集大小相同，分别为20*20*20mm3、30*30*30mm3和40*40*40mm3。所述的输入大小不同的三种Resnet3D网络，即其卷积层的设计存在一定的差异，卷积核的大小不同，网络中使用的池化层均采用最大池化层，将输入下采样为原来的1/8，激活函数采用线性整流函数。所述的训练，即基于所构建的三维残差网络，将三种模型分开独立训练，进行真假阳性的分类训练，得到多维度的Resnet3D网络。所述的独立训练是指：由于网络的输入大小不同，将三种独立训练，使用随机梯度下降算法向后传播更新网络的参数值，每次迭代多个样本，损失函数由正样本的评价损失和负样本的平均损失叠加产生，避免由于正负样本的不平衡导致损失函数被某一类别的样本所主导。所述的图像相似性判断是指：使用训练得到的多维度三维残差网络，将三种模型以不同的权重组合，对测试集的图像进行相似性判断，获得测试具有对应图案特征的概率，当概率大于设定的阈值时，即判断此图像具有图案特征。所述的权重组合是指：三种模型分别对测试样本进行概率预测，获得三组概率预测结果，将三组概率预测结果按照各自的权重计算得到此测试样本的最终组合概率，根据组合概率与预先设定的阈值概率的大小比较，判断测试样本是否具有图案特征。技术效果与现有技术相比，本专利技术采用了基于Faster-RCNN实现候选结节选取，采用了多维度的三维残差网络，通过优化损失函数，解决了由于真假阳性结节的样本数量不平衡导致的损失函数被主导的现象，能够一定程度上提高准确率；并且本专利技术通过多维度的三维残差网络，根据医疗图像的特征，进行优化网络，通过组合网络的方式捕获了结节的更多特征，综合三种网络得到最终的概率。附图说明图1为实施例流程图；图2为本专利技术Faster-RCNN网络的结构示意图；图3为本专利技术多维度残差网络模型一的结构示意图；图4为本专利技术多维度残差网络模型二的结构示意图；图5为本专利技术多维度残差网络模型三的结构示意图。具体实施方式如图1所示，本实施例的实验数据来自开源数据集LIDC/IRDI数据库，该数据含有888位病人的CT图像，共有1086个结节。每个病人的数据是一个3D的肺部结构，由多张CT扫描的图像组成，该数据集由四名放射科医师提供的注释，由两个阶段的注释过程组成，在第一阶段，放射科医师会独立在CT扫描中检查病变，在第二阶段，每个医生获得了来自其他放射科医师的匿名标记，然后重新标记，以便放射科医师可以得出最终结论，避免强制共识的前提下，在每个CT扫描中识别尽可能多的肺结节。该数据集中的CT图片本文档来自技高网...

【技术保护点】
1.一种基于三维残差网络的图像检测系统，其特征在于，包括：预处理模块、候选结节选取模块以及假阳性筛选模块，其中：预处理模块是对数据集进行整理和提取，基于Faster‑RCNN的候选结节模块使用预处理模块的数据集，进行网络模型训练，生成候选结节，基于多维度残差网络的使用候选结节选取模块得到的候选结节进行网络训练。

【技术特征摘要】
1.一种基于三维残差网络的图像检测系统，其特征在于，包括：预处理模块、候选结节选取模块以及假阳性筛选模块，其中：预处理模块是对数据集进行整理和提取，基于Faster-RCNN的候选结节模块使用预处理模块的数据集，进行网络模型训练，生成候选结节，基于多维度残差网络的使用候选结节选取模块得到的候选结节进行网络训练。2.根据权利要求1所述系统的图像检测方法，其特征在于，具体步骤包括：步骤1)对CT图像进行预处理，即对CT图像依次进行重采样、提取肺实质和CT图像归一化；步骤2)训练基于Faster-RCNN的分割网络并实现结节的区域选取，然后使用图像处理方法修正候选结节的区域；步骤3)采用正负样本集训练三维残差网络Resnet，进行候选结节的假阳性筛选。3.根据权利要求2所述的方法，其特征是，所述的重采样是指：采用1mm对应1个像素的统一像素间隔，获取CT图像的像素间隔信息，通过三维线性插值方式，根据不同CT图像的像素间隔信息，对图像进行相应缩放操作，实现所有图像的像素间隔统一。4.根据权利要求2所述的方法，其特征是，所述的提取肺实质是指：对肺部CT图像进行二值分割，对图像进行消除边界，去除空气成分，对二值化的图像中的连通区域进行筛选，选出面积最大的两块连通区域作为肺叶的轮廓，对肺叶内部的空白区域进行填充，对肺部边缘进行平滑处理并保留边缘部位。5.根据权利要求2所述的方法，其特征是，所述的CT图像归一化是指：将重采样之后的CT图像的数值小于-1000的设置为-1000，数值大于400的数值设置为400，接下来对CT图像的每个像素值进行归一化，计算第i张CT切片的均值为Mi，标准差为Si，按照Ii＝(Ii-Mi)/Si计算图像的值，对每张图像都进行归一化。6.根据权利要求2所述的方法，其特征是，所述的步骤2具体包括：2.1)在训练Faster-RCNN网络时，使用优化后的损失函数进行反向传播；2.2)将整张图片输入基于Faster-RCNN的卷积网络...

【专利技术属性】
技术研发人员：沈耀，陈静，过敏意，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31