基于可变形多尺度卷积的肺部X光病灶检测系统与方法技术方案

本发明专利技术公开了一种基于可变形多尺度卷积的肺部X光病灶检测系统与方法，属于图像处理技术领域。包括顺序连接的图像预处理模块、特征图提取网络模块、可变形多尺度特征融合模块、候选区域生成网络模块、分类与定位网络模块；先预处理肺部X光片，将X光片输入到特征提取网络得到特征图，特征图经过可变形多尺度特征融合模块得到更准确的融合特征图；输入到候选区域生成网络生成候选框；候选框输入到分类与定位网络，得到病灶区域的预测框；比较预测结果与标注信息，得到损失函数后进行反向传播，进行参数调整训练得到最优的模型；输入测试集图片进行预测并将结果可视化。其既能提取病灶区域的边缘特征和形状信息，又能兼顾全局信息和局部信息。信息和局部信息。信息和局部信息。

【技术实现步骤摘要】
基于可变形多尺度卷积的肺部X光病灶检测系统与方法


[0001]本专利技术涉及一种基于可变形多尺度卷积的肺部X光病灶检测系统与方法，属于图像处理


技术介绍

[0002]肺部X光片病变区域与正常区域之间的视觉对比度低、组织重叠度高，导致X光片的病灶检测和识别存在很大困难。通过人工智能的手段自动检测和识别肺部疾病区域，可以提高诊断的精度，节省阅片时间，减少重复劳动。深度学习分类方法可以对肺部X光片进行分类，利用注意力热图估计病灶存在的位置，但无法准确定位病灶；深度学习目标检测方法可以识别一些病灶的位置，但感受野尺度单一，无法适应目标的尺度变化和边界变化，检测区域不全，使得病灶的自动识别平均精度较低，不能满足辅助临床诊断的标准。因此，寻找一种更为精确的肺部X光片病灶检测技术具有重要的应用价值。
[0003]Zhang等在基于ImageNet数据集预训练的Efficient Net模型基础上，通过将异常检测模块附加在原有的分类器模块上，设计了用于新冠肺炎检测的诊断模型[Zhang J,Xie Y,LiaoZ,et al.Viral Pneumonia Screening on Chest X
‑
ray Images Using Confidence
‑
Aware Anomaly Detection[J].IEEE transactions on medical imaging,2020.40(3):879
‑
890]；Rajpurkar等在DenseNet
‑
121的基础上设计了CheXNeXt检测方法，用于同时检测14种不同类型的病变，如肺炎、胸腔积液、肺部肿块和肺结节等[Rajpurkar P,Irvin J,Ball R L,et al.Deep learning for chest radiograph diagnosis:A retrospective comparison of the CheXNeXt algorithm t o practicing radiologists[J].PLoS medicine,2018,15(11):e1002686.]；Xu等在YOLOv3的基础上，通过引入多尺度卷积模块，解决传统卷积模块所捕获的特征信息有限的问题，还提出新的GDIoU损失函数，改善边界框的预测结果，并进一步提高肺结节检测的性能[Xu K,Jiang H,Tang W.A New Object Detection Algorithm Based on YOLOv3 for Lung Nodules [C]//Proceedings of the 2020 6th International Conference on Computing and Artificial Intelligence.2020:233
‑
239.]；Zhu等提出并训练了一个区域检测网络模型,用于提取胸片中所有可能的病变区域,即图像处理领域中的感兴趣区域[朱伟,张帅,辛晓燕,李文飞,王骏,张建,王炜.结合区域检测和注意力机制的胸片自动定位与识别[J].南京大学学报(自然科学),2020,56(04):591
ꢀ‑
600.DOI:10.13232/j.cnki.jnju.2020.04.017.]；Chu等提出Mask R
‑
CNN模型用于胸片中肺结节的检测.结合基于对比度限制自适应直方图均衡化和多段活动形状模型的预处理,增强肺结节特征,可以提高肺结节的检测精度[储春洁,王佳雯,韩雅琪,陈胜.基于Mask R
‑
CNN模型的胸片肺结节检测性能评估[J].信息与控制,2020,49(06):728
‑
734.DOI:10.13976/j.cnki.xk.2020.0242]。对于X光片的病灶区域检测问题，专利[余彰恒,牛潞东.基于细粒度图像识别及目标检测算法的X光片新冠肺炎识别检测方法[P].江苏省：CN113222984A]提出了一种基于细粒度图像识别及目标检测算法的X光片新冠肺炎识别检测方法，包括对待
检测X光片进行细粒度的图像识别获得分类结果，若为第一类新冠肺炎，则使用yolov4对X光片进行目标检测，检测感染新冠肺炎病毒的部位，并获取感染区域。专利[蔡泽宇,杜秋玥.一种基于神经网络的肺部X光片识别检测系统和方法[P].湖北省：CN113205126A]将训练的多层CNN模型与通过flask构建的web系统相结合，实现了实时图像检测的功能，在线辅助医生提高了检测肺炎的效率。专利[卢光明,陈炳志.基于全景X光片的口腔异常检测模型的训练方法及装置[P].广东省：C N113516639A]提供了基于口腔全景X光片的检测模型的训练方法，通过口腔全景X光片进行口腔异常的检测。
[0004]在目前的肺部X光片检测研究中，没有考虑到病灶区域的边缘信息和形状信息，此外，检测算法的感受野单一，提取的特征不够全面，导致病灶检测的平均精度和查全率都不够高。

技术实现思路

[0005]针对上述技术的不足组之处，提供一种基于可变形多尺度卷积的肺部X光病灶检测系统与方法，针对现有检测算法的检测准确率低的问题，提出了可变形多尺度特征融合模块，利用可变形多尺度特征融合模块既能提取病灶区域的边缘特征和形状信息，又能兼顾全局信息和局部信息，可以获得更好的特征表达。
[0006]针对上述技术目的，本专利技术公开一种基于可变形多尺度卷积的肺部X光病灶检测系统，包括顺序连接的图像预处理模块、特征图提取网络模块、可变形多尺度特征融合模块、候选区域生成网络模块、分类与定位网络模块；
[0007]图像预处理模块，用以对肺部X光片预处理，并实现X光片图像增强；
[0008]特征图提取网络模块，用以根据增强处理后的图像，生成对应的特征图；
[0009]可变形多尺度特征融合模块，用以将特征图处理转化为更准确的融合特征图；
[0010]候选区域生成网络模块，用以对更准确地融合特征图中肺部影像可能病灶位置进行预测，并采用候选框进行标注；
[0011]分类与定位网络模块，用以将肺部病灶的候选预测结果与专家标注的真实病灶区域进行比较，从而在候选框中筛选出病灶区域，并使用预测框进行标注，在计算出损失函数后进行反向传播，进行参数调整后继续训练自身的分类与定位网络。
[0012]一种基于可变形多尺度卷积的肺部X光病灶检测方法，其步骤如下：
[0013]首先利用图像预处理模块预处理肺部X光片并进行图像增强；
[0014]然后将增强处理后的图像输入到训练好的特征提取网络模块得到特征图，特征图经过可变形多尺度特征融合模块，得到更准确的融合特征图；
[0015]之后，将融合特征图输入到候选区域生成网络模块，在融合特征图上生成多个可能存在病灶区域的候选框；
[0016]将候选框输入到分类与定位网络模块，筛选出与专家标注的真实病灶框重合度最大的候选框为预测框本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于可变形多尺度卷积的肺部X光病灶检测系统，其特征在于：包括顺序连接的图像预处理模块、特征图提取网络模块、可变形多尺度特征融合模块、候选区域生成网络模块、分类与定位网络模块；图像预处理模块，用以对肺部X光片预处理，并实现X光片图像增强；特征图提取网络模块，用以根据增强处理后的图像，生成对应的特征图；可变形多尺度特征融合模块，用以将特征图处理转化为更准确的融合特征图；候选区域生成网络模块，用以对更准确地融合特征图中肺部影像可能病灶位置进行预测，并采用候选框进行标注；分类与定位网络模块，用以将肺部病灶的候选预测结果与专家标注的真实病灶区域进行比较，从而在候选框中筛选出病灶区域，并使用预测框进行标注，在计算出损失函数后进行反向传播，进行参数调整后继续训练自身的分类与定位网络。2.一种使用权利要求1所述基于可变形多尺度卷积的肺部X光病灶检测系统的基于可变形多尺度卷积的肺部X光病灶检测方法，其特征在于步骤如下：首先利用图像预处理模块预处理肺部X光片并进行图像增强；然后将增强处理后的图像输入到训练好的特征提取网络模块得到特征图，特征图经过可变形多尺度特征融合模块，得到更准确的融合特征图；之后，将融合特征图输入到候选区域生成网络模块，在融合特征图上生成多个可能存在病灶区域的候选框；将候选框输入到分类与定位网络模块，筛选出与专家标注的真实病灶框重合度最大的候选框为预测框，得到预测框的顶点坐标，使用分类与定位网络模块对预测框中的病灶进行分类，得到病灶类型，最终获得预测框的坐标信息和类别信息。3.根据权利要求2所述基于可变形多尺度卷积的肺部X光病灶检测方法，其特征在于对肺部X光片的图像增强的具体步骤为：S201：缩放X光片图像并进行长和宽的尺度变换；S202：对图像的边缘添加灰条，并翻转图像，边界框对应坐标也进行相应翻转。4.根据权利要求2所述基于可变形多尺度卷积的肺部X光病灶检测方法，其特征在于，特征图经过可变形多尺度特征融合模块得到更准确的融合特征图的具体步骤如下：S301：首先对输入特征图先进行偏移预测操作，利用二维卷积核构成的卷积层对输入特征图进行处理，对每个特征图上的方格采样点增加一个二维的偏移量得到偏移特征图；S302：根据偏移特征图的采样点偏移量，原有特征图每个采样点进行二维方向的偏移，得到新采样点的位置，采样点偏移过程的卷积操作为：其中，R是采样网格，p
n
是R中的第n个位置，x(p
n
)代表p
n
位置像素值，Δp是偏移量，Δp是由x、y组成的二维向量，w(p
n
)是p
n
的权重，y(p
n
)表示特征图；S303：采用1
×
1卷积核对偏移采样模块输出的新特征图进行降维，减少后续复杂度；S304：采用3
×
3、9
×
9、15
×
15卷积核分别对降维后的特征图进行采样，从而得到多尺度深...

【专利技术属性】
技术研发人员：郭一楠，于欣，巩敦卫，赵倩，于泽宽，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：