肺部疾病分类方法、装置及设备制造方法及图纸

本发明专利技术公开了一种基于深度学习模型和X光影像的肺部疾病分类方法、装置及设备，该方法包括：提取X光影像中的胸部区域掩膜图，将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；对X光影像进行在线数据增强，将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。

【技术实现步骤摘要】
肺部疾病分类方法、装置及设备
本专利技术涉及人工智能
，尤其是涉及一种基于深度学习模型和X光影像的肺部疾病分类方法、装置及设备。
技术介绍
在胸部疾病诊断当中，胸部X-Ray影像是最常用检查方法之一，每年由超过20亿人进行胸部X光检查。这对于胸部疾病的筛查、诊断和治疗至关重要。但与此同时，胸部X光影像的疾病识别属于多标签分类问题，往往同一个病人产生多种疾病征象。这对于计算机的自动化识别是一项巨大的挑战。
技术实现思路
本专利技术的目的在于提供一种基于深度学习模型和X光影像的肺部疾病分类方法、装置及设备，旨在解决现有技术中的上述问题。本专利技术提供一种基于深度学习模型和X光影像的肺部疾病分类方法，包括：提取X光影像中的胸部区域掩膜图，将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；对X光影像进行在线数据增强，将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。本专利技术提供一种基于深度学习模型和X光影像的肺部疾病分类系统，包括：提取单元，用于提取X光影像中的胸部区域掩膜图；卷积神经网络单元，用于将掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；数据增强单元，用于对X光影像进行在线数据增强；DenSeNet网络单元，用于将增强后的X光影像输入到深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；全连接网络单元，用于将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到深度学习模型的全连接网络，获得肺部疾病的第一分类结果。本专利技术实施例还提供一种基于深度学习模型和X光影像的肺部疾病分类设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，计算机程序被处理器执行时实现上述基于深度学习模型和X光影像的肺部疾病分类方法的步骤。本专利技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有信息传递的实现程序，程序被处理器执行时实现上述基于深度学习模型和X光影像的肺部疾病分类方法的步骤。采用本专利技术实施例，通过将传统图像处理得到的肺部区域掩膜图送入第一个深度学习网络提取特征，将该特征做为输入与DenseNet提取的X影像特征结合起来，用于最后的分类，解决了现有技术中胸部X光影像疾病识别的多标签分类问题，能够获得准确的肺部疾病分类结果，为医生提供实质性帮助，减轻医生的工作压力，避免经验不足带来的诊断偏差。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例的基于深度学习模型和X光影像的肺部疾病分类方法的流程图；图2是本专利技术实施例的基于深度学习模型和X光影像的肺部疾病分类方法的结构框图；图3是本专利技术实施例的基于深度学习模型和X光影像的肺部疾病分类系统的示意图；图4是本专利技术实施例的基于深度学习模型和X光影像的肺部疾病分类设备的示意图。具体实施方式随着计算机和数字图像处理技术的发展，出现了许多算法用于从X光图像识别疾病，帮助医生诊断。尤其深度学习算法的大面积推广，给图像算法带来新的有力手段。本专利技术实施例结合传统图像处理方法和深度学习方法解决X光影像的多标签疾病分类问题。基于公开的胸部X光图像数据集，研究使用结合传统图像处理方法和深度学习网络结构的多标签疾病识别算法，提高胸部X光影像的诊断水平。该胸部X光公开数据集来自于美国国立卫生研究院。随着深度学习的推广，有很多基于深度学习的方法被用于X光的疾病识别上，其中一些研究表明如果能知道胸部的位置信息有助于提升识别精度，但位置信息往往需要费时费力的标注。本专利技术实施例使用深度学习和传统图像处理结合的方法，用传统图像处理提取肺部的位置信息，并结合深度学习方法识别胸部X光疾病。下面将结合实施例对本专利技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“坚直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。此外，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本专利技术中的具体含义。方法实施例根据本专利技术实施例，提供了一种基于深度学习模型和X光影像的肺部疾病分类方法：本专利技术实施例在结合传统的图像处理方法和深度学习方法构建一个针对胸部X光数据的多标签疾病识别模型，辅助医生筛查、诊断疾病。首先对本专利技术实施例在数据训练时使用的数据进行介绍。本专利技术实施例使用的X光数据来自于在美国国立卫生研究院公开的ChestXRay-14数据集。该数据集包含来自30805位病人的112120张胸部X光数据，平均每个病人3.6张图像。疾病类别为14类：Atelectasis,Cardiomegaly,Effusion,Infiltration,Mass,Nodule,Pneumonia,Edema,Pneumot本文档来自技高网...

【技术保护点】
1.一种基于深度学习模型和X光影像的肺部疾病分类方法，其特征在于，包括：/n提取X光影像中的胸部区域掩膜图，将所述掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量x

【技术特征摘要】
1.一种基于深度学习模型和X光影像的肺部疾病分类方法，其特征在于，包括：
提取X光影像中的胸部区域掩膜图，将所述掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；
对所述X光影像进行在线数据增强，将增强后的X光影像输入到所述深度学习模型的DenSeNet网络进行特征提取，每张X光影像获得第二特征向量xdense；
将第一特征向量xmask与第二特征向量xdense结合，得到第三特征向量xi＝(xmask,xdense)，将第三特征向量xi输入到所述深度学习模型的全连接网络，获得肺部疾病的第一分类结果。


2.根据权利要求1所述的方法，其特征在于，提取X光影像中的胸部区域掩膜图具体包括：
对X光影像进行高斯模糊处理，对模糊后的X光影像使用大津算法获取阈值，对X光影像进行阈值分割；
使用图像形态学的腐蚀操作处理阈值分割后的X光影像，使得X光影像的肺部区域与其他部分不联通；
使用边缘检测算法获取X光影像中各个分割部分的检测框，筛选出左肺和右肺的检测框，使用每个检测框的角点与图像长宽比进行比较，确定检测框是否位于中心从而筛选出位于中心区域的检测框，将其作为胸部区域的检测框；
获取检测框后，得到X光影像中的胸部区域的二值化掩膜图。


3.根据权利要求1所述的方法，其特征在于，对所述X光影像进行在线数据增强具体包括：
使用上下翻转和/或左右翻转的方式进行在线数据增强。


4.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
将增强后的X光影像输入到所述深度学习模型的EfficientNet网络进行特征提取，每张X光影像获得第四特征向量xdense；
将第一特征向量xmask与第四特征向量xdense结合，得到第五特征向量xi＝(xmask,xdense)，将第五特征向量xi输入到所述深度学习模型的全连接网络，获得肺部疾病的第二分类结果；
将第一分类结果和第二分类结果进行融合，获取最终的肺部疾病的分类结果。


5.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：
将所述掩膜图输入到与所述深度学习模型仅仅采用不同的训练数据训练得到的结构相同的其他多个深度学习模型中，获得肺部疾病的多个不同的分类结果，将所述第一分类结果与所述多个不同的分类结果进行融合，获取最终的肺部疾病的分类结果。


6.一种基于深度学习模型和X光影像的肺部疾病分类系统，其特征在于，包括：
提取单元，用于提取X光影像中的胸部区域掩膜图；
卷积神经网络单元，用于将所述掩膜图输入到预先训练好的深度学习模型的卷积神经网络进行编码抽取位置特征信息，获得第一特征向量xmask；
数据增强...

【专利技术属性】
技术研发人员：杜强，高泽宾，郭雨晨，聂方兴，张兴，唐超，
申请(专利权)人：北京小白世纪网络科技有限公司，
类型：发明
国别省市：北京;11