新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质制造方法及图纸

本发明专利技术公开了一种新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质，包括获取患者的肺部三维CT图像；对CT图像进行预处理操作，预处理操作包括肺部区域提取、像素归一化和数据增强；搭建基于三维图像的目标检测网络，检测网络包括特征提取网络，特征融合网络和病灶预测网络，特征提取网络采用3D‑Resnet作为基础框架，特征融合网络采用3D‑FPN的思想对不同尺度的特征层进行特征融合，病灶预测网络采用Faster‑RCNN的目标检测思想对融合后特征层进行病灶预测；在训练或测试时，将处理后的图像输入到网络中进行新型冠状病毒病灶检测。本发明专利技术的新冠肺炎病灶检测方法能显著提高病灶区域的检出率、真阳率和准确率。

【技术实现步骤摘要】
新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
本专利技术涉及图像处理
，尤其涉及一种新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质。
技术介绍
新型冠状病毒病灶检测是利用神经网络对CT图像进行目标检测，从而得到病灶区域位置信息的过程，其是基于深度学习中的目标检测方法。现有的用于新型冠状病毒的目标检测方法通常是基于二维图像进行的，因此，在医学图像领域进行的目标检测采用的输入一般是三维CT图像的二维切片，在二维切片上对目标(病灶区域)进行检测。这导致检测过程中只利用到了病灶区域的二维特征，其三维结构信息没有得到充分利用，使得漏检和错检的情况时有发生，从而不能保证检查的检出率、真阳率和准确率。
技术实现思路
为了克服现有技术的不足，本专利技术的目的之一在于提供一种新型冠状病毒肺炎病灶检测方法，其检出率、真阳率和准确率较高。本专利技术的目的之二在于提供一种基于肺炎医学图像的病灶检测系统。本专利技术的目的之三在于提供一种基于肺炎医学图像的病灶检测装置。本专利技术的目的之四在于提供一种存储介质。本专利技术的目的之一采用如下技术方案实现：新型冠状病毒肺炎病灶检测方法，包括以下步骤：图像获取步骤，获取待处理的人体肺部三维CT图像；图像预处理步骤，对所述三维CT图像进行预处理；检测网络搭建步骤，搭建基于三维图像的目标检测网络，所述检测网络包括特征提取网络、特征融合网络和病灶预测网络，利用所述特征提取网络获取所述三维CT图像的若干不同尺度特征层，所述特征融合网络采用3D-FPN对所述不同尺度特征层进行特征融合，所述病灶预测网络采用Faster-RCNN对融合后的特征层进行病灶预测；其中，特征提取得到了p2到pk+1这些多尺度特征后，进行特征融合处理；特征融合处理按照以下公式进行：Pi＝Fi(p2，p3，...，pk+1)i＝2，3，...，k+1，式中Pi表示融合后的第i层特征，其尺寸和pi一致，Fi表示第i层融合特征的融合处理，包括了对低层特征图的下采样和高层特征图的上采样操作；病灶检测步骤，将预处理后CT图像输入到所述检测网络中进行冠状病毒病灶检测。进一步地，在进行特征融合处理时，共有k个尺寸的特征，对于多尺度特征p2，分别进行相应倍数的下采样操作得到k个分别与p2～pk+1尺寸相对应的特征；对于多尺度特征p3～Pk，分别进行相应倍数的下采样和上采样操作，多尺度特征p3～pk均得到k个分别与p2～pk+1尺寸相对应的特征；对于多尺度特征pk+1，分别进行相应倍数的上采样操作得到k个分别与多尺度特征p2～pk+1尺寸相对应的特征；经过上述操作后，获取了k组特征图，每组特征图中均有k个特征，每组特征图内的k个特征分别与p2～pk+1尺寸相对应，分别将k个尺寸相同的特征融合成为新的特征Pi，Pi尺寸和pi一致。进一步地，所述特征提取网络包括3D-Resnet模型和灰度特征提取模型，利用3D-Resnet模型进行特征提取得到一组p2～pk+1多尺度特征，同时利用灰度特征提取模型进行特征提取得到一组分别与p2～pk+1多尺度特征尺寸一致的灰度特征图接着p2～pk+1多尺度特征和灰度特征图进行特征融合。进一步地，在所述图像预处理步骤中，预处理操作包括肺部区域提取处理，按照以下方式进行：对所述三维CT图像的二维切片图像进行高斯滤波操作，对二维切片和三维图像的连通区域进行阈值化筛选、曲率筛选和中心距离筛选操作，得到粗略肺部区域的掩码，接着对粗略肺部区域的掩码进行膨胀腐蚀操作得到最终的肺部区域三维掩码。进一步地，所述三维CT图像为原始图像I，I＝{i1，i2，...，ik}，其由k张切片组成，其中i1到ik分别代表第1到第k张切片，对原始图像I进行肺部区域提取处理按照以下方式进行：取任意一张切片i进行标准二维高斯滤波操作，通过以下公式：进行，式中r为高斯滤波模板半径超参数，x、y为高斯滤波中心点坐标，u、v为遍历邻域像素的索引，I(x+u，y+v)表示邻域像素的像素值，f(x，y)表示高斯滤波后的结果，G(u，v)表示标准二维高斯分布公式，计算方式由如下公式确定；记滤波后的切片为i′，对i′进行二值化阈值为γ的二值化操作，得到对应的二维掩码m；对m中的所有连通区域进行筛选，只保留面积大于S且曲率小于C的区域，得到二维掩码m′；S为二维连通区域面积阈值，C为曲率阈值；对k张切片{i1，i2，...，ik}分别进行上述操作，得到k张对应的二维掩码{m′1，m′2，...，m′k}，将k张二维掩码进行拼接得到原始图像I对应的三维掩码M′＝{m′1，m′2，...，m′k}，对M′中所有的连通区域进行筛选，只保留体积大于V的区域，V为三维连通区域体积阈值，得到新的三维掩码M″＝{m″1，m″2，...，m″k}，其由k张二维掩码组成；对三维掩码M″的所有三维连通区域，计算其在每张二维掩码m″上的二维切片距离图像中心的最小距离的平均值，只保留平均值小于d的连通区域，d为中心距离筛选阈值，得到新的三维掩码M″′＝{m″′1，m″′2，...，m″′k}，三维掩码M″′为原始图像粗略肺部区域的掩码；对M″′进行迭代的腐蚀操作，直到被分成两个部分，再接着从两部分的中心开始对两部分分别进行迭代的膨胀操作，在膨胀回到腐蚀前的尺寸后再进行D次膨胀操作，D为膨胀超参数，得到最终的肺部区域三维掩码Mf；根据Mf，保留原始图像I中对应位置的像素值，得到肺部区域提取处理后的三维CT图像L。进一步地，所述肺部区域提取处理时设置的阈值及超参数如下：高斯滤波模板半径超参数r＝5，二值化阈值γ＝-600，二维连通区域面积阈值S＝30，曲率阈值C＝0.99，三维连通区域体积阈值V＝6800，中心距离筛选阈值d＝62，膨胀超参数D＝10。进一步地，在所述图像预处理步骤中，预处理操作还包括像素归一化处理和数据增强处理；所述像素归一化处理通过公式L′＝(L-Imin)/(Imax-Imin)进行，式中Imax表示提取后的三维图像L最大的像素值，Imin表示提取后的三维图像L最小的像素值，L′表示预处理后的图像；所述数据增强处理包括旋转、翻转和放缩操作。进一步地，所述特征提取网络为3D-Resnet模型，所述特征融合网络为3D-FPN模型，所述病灶预测网络为Faster-RCNN预测层模型，预处理后的CT图像输入到所述检测网络中分别进行特征提取处理、特征融合处理和病灶预测处理；特征提取处理按以下公式进行：pi+1＝fi(pi)i＝1，2，...，k，式中p1表示输入网络的图像，k表示特征提取的次数，p2到pk+1表示进行1次到k次特征提取后得到的第2到第k+1层特征，fi表示第i次进行特征提取的操作；得到了p2到pk+1这些多尺度特征后，进行特征融合处理；特征融合处理按照以下公式进行：Pi＝Fi(p2，p3，...，pk+1)i＝2，3，...，k+1，式中Pi表示融合后的第i层特征，其尺寸和pi一致，F本文档来自技高网...

【技术保护点】
1.新型冠状病毒肺炎病灶检测方法，其特征在于，包括以下步骤：/n图像获取步骤，获取待处理的人体肺部三维CT图像；/n图像预处理步骤，对所述三维CT图像进行预处理；/n检测网络搭建步骤，搭建基于三维图像的目标检测网络，所述检测网络包括特征提取网络、特征融合网络和病灶预测网络，利用所述特征提取网络获取所述三维CT图像的若干不同尺度特征层，所述特征融合网络采用3D-FPN对所述不同尺度特征层进行特征融合，所述病灶预测网络采用Faster-RCNN对融合后的特征层进行病灶预测；其中，特征提取得到了p

【技术特征摘要】
20200417 CN 20201030452641.新型冠状病毒肺炎病灶检测方法，其特征在于，包括以下步骤：
图像获取步骤，获取待处理的人体肺部三维CT图像；
图像预处理步骤，对所述三维CT图像进行预处理；
检测网络搭建步骤，搭建基于三维图像的目标检测网络，所述检测网络包括特征提取网络、特征融合网络和病灶预测网络，利用所述特征提取网络获取所述三维CT图像的若干不同尺度特征层，所述特征融合网络采用3D-FPN对所述不同尺度特征层进行特征融合，所述病灶预测网络采用Faster-RCNN对融合后的特征层进行病灶预测；其中，特征提取得到了p2到pk+1这些多尺度特征后，进行特征融合处理；特征融合处理按照以下公式进行：Pi＝Fi(p2,p3,…,pk+1)i＝2,3,…,k+1，式中Pi表示融合后的第i层特征，其尺寸和pi一致，Fi表示第i层融合特征的融合处理，包括了对低层特征图的下采样和高层特征图的上采样操作；
病灶检测步骤，将预处理后CT图像输入到所述检测网络中进行冠状病毒病灶检测。


2.如权利要求1所述的新型冠状病毒肺炎病灶检测方法，其特征在于，在进行特征融合处理时，共有k个尺寸的特征，对于多尺度特征p2，分别进行相应倍数的下采样操作得到k个分别与p2～pk+1尺寸相对应的特征；对于多尺度特征p3～pk，分别进行相应倍数的下采样和上采样操作，多尺度特征p3～pk均得到k个分别与p2～pk+1尺寸相对应的特征；对于多尺度特征pk+1，分别进行相应倍数的上采样操作得到k个分别与多尺度特征p2～pk+1尺寸相对应的特征；经过上述操作后，获取了k组特征图，每组特征图中均有k个特征，每组特征图内的k个特征分别与p2～pk+1尺寸相对应，分别将k个尺寸相同的特征融合成为新的特征Pi，Pi尺寸和pi一致。


3.如权利要求1所述的新型冠状病毒肺炎病灶检测方法，其特征在于，所述特征提取网络包括3D-Resnet模型和灰度特征提取模型，利用3D-Resnet模型进行特征提取得到一组p2～pk+1多尺度特征，同时利用灰度特征提取模型进行特征提取得到一组分别与p2～pk+1多尺度特征尺寸一致的灰度特征图接着p2～pk+1多尺度特征和灰度特征图进行特征融合。


4.如权利要求1所述的新型冠状病毒肺炎病灶检测方法，其特征在于，在所述图像预处理步骤中，预处理操作包括肺部区域提取处理，按照以下方式进行：对所述三维CT图像的二维切片图像进行高斯滤波操作，对二维切片和三维图像的连通区域进行阈值化筛选、曲率筛选和中心距离筛选操作，得到粗略肺部区域的掩码，接着对粗略肺部区域的掩码进行膨胀腐蚀操作得到最终的肺部区域三维掩码。


5.如权利要求4所述的新型冠状病毒肺炎病灶检测方法，其特征在于，所述三维CT图像为原始图像I，I＝{i1,i2,…,ik}，其由k张切片组成，其中i1到ik分别代表第1到第k张切片，对原始图像I进行肺部区域提取处理按照以下方式进行：
取任意一张切片i进行标准二维高斯滤波操作，通过以下公式：

进行，式中r为高斯滤波模板半径超参数，x、y为高斯滤波中心点坐标，u、v为遍历邻域像素的索引，I(x+u,y+v)表示邻域像素的像素值，f(x,y)表示高斯滤波后的结果，G(u,v)表示标准二维高斯分布公式，计算方式由如下公式确定；
记滤波后的切片为i′，对i′进行二值化阈值为γ的二值化操作，得到对应的二维掩码m；
对m中的所有连通区域进行筛选，只保留面积大于S且曲率小于C的区域，得到二维掩码m＇；S为二维连通区域面积阈值，C为曲率阈值；
对k张切片{i1,i2,…,ik}分别进行上述操作，得到k张对应的二维掩码{m′1,m′2,…,m′k}，将k张二维掩码进行拼接得到原始图像I对应的三维掩码M′＝{m′1,m′2,…,m′k}，对M＇中所有的连通区域进行筛选，只保留体积大于V的区域，V为三维连通区域体积...

【专利技术属性】
技术研发人员：张晓萍，靳秀丽，于泽源，汪方军，马力，王艳芳，陈庆武，
申请(专利权)人：中山仰视科技有限公司，
类型：发明
国别省市：广东;44