基于深度混合学习框架的肺结节CT图像识别方法技术

本发明专利技术提出了一种基于深度混合学习框架的肺结节CT图像识别方法，该方案利用CNN模型和ViT模型分别对肺结节CT图像的局部结构特征和长距离上下文关系进行学习并输出相应的表示信息和第二特征映射，然后设计基于注意力机制的特征聚合模块，以自适应分配融合权重的方式对所述表示信息和第二特征映射进行聚合，从而避免过渡的参数设置以及增强识别过程的自动化水平；本发明专利技术的有益技术效果是：提出了一种基于深度混合学习框架的肺结节CT图像识别方法，该方案能利用CNN和视觉Transformer（Vision transformer,ViT）联合驱动的深度混合学习框架对胸部CT肺结节的良恶性进行识别，识别准确性较好。识别准确性较好。识别准确性较好。

【技术实现步骤摘要】
基于深度混合学习框架的肺结节CT图像识别方法


[0001]本专利技术涉及一种医学图像识别技术，尤其涉及一种基于深度混合学习框架的肺结节CT图像识别方法。

技术介绍

[0002]肺癌在全世界范围内具有高的发病率和死亡率，基于CT(Computed tomography,CT)的肺癌早期无创筛查已被证实能显著降低高风险人群的死亡率，肺结节的良、恶性鉴别诊断是该筛查任务中的一个关键环节。
[0003]在临床诊断中，放射科医生通常需要为一个结节患者逐层阅读数张甚至数十张CT切片以达到准确的判别，显然，该诊断过程费时费力，且易发生操作者偏见，因此，为了帮助放射科医生提升诊断效率和诊断准确度，开发肺结节计算机辅助诊断系统(Computer
‑
aided diagnosis,CAD)成为了医学图像分析领域中一个活跃的研究课题。肺结节形状大小变化不一，并且通常被复杂的背景组织包围，这导致结节样本之间高的类内多样性和类间相似性的特性，因此，同时提取局部特征和全局特征对准确的肺结节鉴别诊断至关重要。
[0004]近年来，大量CAD方法被开发用于肺结节良恶性鉴别诊断任务，它们大致可以被归纳为两大类：基于手工特征的方法和基于深度学习的方法。先前的方法主要倾向于利用领域知识开发各种各样的手工特征(例如，外观，强度，球形度，毛刺和纹理等)，然后这些特征被一些传统的机器学习技术(例如，随机森林，支持向量机和多层感知器等)进一步处理以获取肺结节诊断结果。通常，会同时从结节体和结节瘤周组织提取手工特征以生成对结节的全局描述。另外，开发新颖的特征描述子和设计有效的特征筛选方法也是提升鉴别诊断性能的实用方式。基于手工特征的方法虽然对具有显著外观差异的肺结节能实现好的分类性能，但由于过度依赖领域知识，他们对复杂的结节样本难以获取判别的表示。
[0005]深度学习通过模仿人脑的运行机制，能很好的揭示目标数据的内在结构，因此被广泛应用在医学图像分析领域中。得益于逐层抽象的结构，卷积神经网络(Convolutional neural network,CNN)擅长提取图像的特征信息，是最具影响力的深度学习范式之一，并被成功的应用于肺结节的计算机辅助诊断任务中。由于对肺结节CT图像的注释需要高阶的专业知识和大量的精力，因此很难获取充足的标记肺结节样本。这一明显弱点与由数据驱动的深度学习模型通常含有大量参数需要被大量标记样本充分训练的事实相违背，这可能会由于不充分的训练过程导致模型过拟合。
[0006]深度迁移学习能够利用在源域学到的知识促进目标域的完成。在医学图像分析领域中，从拥有大量标记样本的自然图像集迁移视觉表示能力到含有限标注数据的医学图像集已经被确立为最实用的学习范式之一。尽管基于深度学习的方法已经获得了显著的性能改善，但它们对良恶性结节鉴别诊断至关重要的长距离依赖关系的学习能力却有限。
[0007]在过去的数年间，Transformer对长距离的上下文信息展示出强大的学习能力，并已被应用于医学CT图像分析任务中。然而，存在的基于Transformer结构的方法在构建一个混合学习框架时，没有充分考虑肺结节CT图像复杂的空间异质性和不同类型模型之间有效
的协作运行模式，这将限制鉴别性能的提升。

技术实现思路

[0008]针对
技术介绍
中的问题，本专利技术提出了一种基于深度混合学习框架的肺结节CT图像识别方法，其创新在于：所述肺结节CT图像识别方法包括：
[0009]1)获取肺部CT图像；采用三次样条插值算法对肺部CT图像进行重采样处理，将肺部CT图像标准化到统一的尺度；然后对重采样处理后的肺部CT图像进行归一化处理，得到归一化图像；
[0010]2)从归一化图像中提取出肺结节图像；所述肺结节图像是以肺结节组织为中心的立方体区域的图像；从肺结节图像中提取出9个单视野图像；9个单视野图像分别对应立方体区域的冠状面、矢状面、横截面和6个对称面；单个对称面在立方体区域的对角线上切割立方体区域的两个相对面，并包含立方体区域的四个顶点和两个相对边；
[0011]3)对9个单视野图像进行拼接处理，得到二维的第一拼接图像，对第一拼接图像进行尺度调节和通道扩展处理，得到与预训练的ViT模型的输入尺度匹配的第一3通道图像；将第一3通道图像输入ViT模型，由ViT模型对第一3通道图像所包含的长距离的上下文信息进行学习，并输出相应的第一特征映射；将第一特征映射中的第一个序列作为表示信息，所述表示信息用于预测临床语义类别；
[0012]同步地，对9个单视野图像进行拼接处理，得到二维的第二拼接图像，对第二拼接图像进行尺度调节和通道扩展处理，得到与预训练的CNN模型的输入尺度匹配的第二3通道图像；将第二3通道图像输入CNN模型，由CNN模型对第二3通道图像所包含的局部结构特征进行学习，并输出相应的第二特征映射；
[0013]所述ViT模型为K层具有相同网络结构的视觉Transformer，ViT模型已在自然图像集上完成预训练；
[0014]所述CNN模型采用ResNet
‑
50网络结构，CNN模型已在自然图像集上完成预训练；
[0015]4)基于注意力机制以自适应分配融合权重的方式对所述表示信息和第二特征映射进行聚合，得到聚合特征映射；
[0016]5)将聚合特征映射输入一基于全连接层的分类器，由分类器输出相应肺结节组织属于良性或恶性的临床语义标签。
[0017]前述方案的原理是：利用预训练好的CNN模型和ViT模型分别对肺结节CT图像的局部结构特征和长距离上下文关系进行学习并输出相应的表示信息和第二特征映射，然后设计基于注意力机制的特征聚合模块，以自适应分配融合权重的方式对所述表示信息和第二特征映射进行聚合，从而避免过渡的参数设置以及增强识别过程的自动化水平；在公开的基准数据集LIDC
‑
IDRI和一个具有挑战性的竞赛数据集LUNGx上的实验结果表明，相比现有技术，本专利技术具有更具竞争力的良恶性肺结节鉴别性能和良好的泛化能力。
[0018]CNN模型和ViT模型均是现有技术，其基本性能和作用为本领域技术人员所熟知，具体实施时，本领域技术人员可根据具体情况合理实施。
[0019]在前述方案的基础上，本专利技术对步骤4)进行了优化，步骤4)包括：
[0020]a)采用全局平均池化操作将第二特征映射FM
cb
转换为一池化特征向量
该过程表示为：
[0021][0022]其中H
cb
，W
cb
和C
cb
分别表示FM
cb
的高度、宽度和通道数；
[0023]b)采用两个具有相同神经元数量的全连接层将所述池化特征向量和所述表示信息映射到相同的尺度，分别得到和和和对应对应1
×1×
C
cv
为相应特征向量的尺度；
[0024]c)采用基于元素求和的挤压操作将和整合为一个集成特征向量F<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度混合学习框架的肺结节CT图像识别方法，其特征在于：所述肺结节CT图像识别方法包括：1)获取肺部CT图像；采用三次样条插值算法对肺部CT图像进行重采样处理，将肺部CT图像标准化到统一的尺度；然后对重采样处理后的肺部CT图像进行归一化处理，得到归一化图像；2)从归一化图像中提取出肺结节图像；所述肺结节图像是以肺结节组织为中心的立方体区域的图像；从肺结节图像中提取出9个单视野图像；9个单视野图像分别对应立方体区域的冠状面、矢状面、横截面和6个对称面；单个对称面在立方体区域的对角线上切割立方体区域的两个相对面，并包含立方体区域的四个顶点和两个相对边；3)对9个单视野图像进行拼接处理，得到二维的第一拼接图像，对第一拼接图像进行尺度调节和通道扩展处理，得到与预训练的ViT模型的输入尺度匹配的第一3通道图像；将第一3通道图像输入ViT模型，由ViT模型对第一3通道图像所包含的长距离的上下文信息进行学习，并输出相应的第一特征映射；将第一特征映射中的第一个序列作为表示信息，所述表示信息用于预测临床语义类别；同步地，对9个单视野图像进行拼接处理，得到二维的第二拼接图像，对第二拼接图像进行尺度调节和通道扩展处理，得到与预训练的CNN模型的输入尺度匹配的第二3通道图像；将第二3通道图像输入CNN模型，由CNN模型对第二3通道图像所包含的局部结构特征进行学习，并输出相应的第二特征映射；所述ViT模型为K层具有相同网络结构的视觉Transformer，ViT模型已在自然图像集上完成预训练；所述CNN模型采用...

【专利技术属性】
技术研发人员：黄鸿，吴若愚，
申请(专利权)人：重庆大学，
类型：发明
国别省市：