System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 胸部X射线图像肺结核诊断的无监督域适应方法技术_技高网
当前位置: 首页 > 专利查询>南京大学专利>正文

胸部X射线图像肺结核诊断的无监督域适应方法技术

技术编号:41301872 阅读:5 留言:0更新日期:2024-05-13 14:48
本发明专利技术的目的是在资源有限的环境中,开发一种肺结核(TB)诊断模型。收集了数百张CXR和CT图像,涵盖三种类型的肺部状况:正常、TB和其他肺病。所有CT图像在训练过程中用作带标签的源域,而CXR图像作为无标签的目标域。基本思想是利用三维CT图像的标签信息来训练二维CXR图像诊断模型。首先,通过简单投影从带标签的三维CT图像获得二维数字重建X射线(DRR)图像,并保留标签信息。然后,构建一个用于CXR图像中TB诊断的深度网络。该网络在深度域适应框架下以无监督的方式进行训练,带标签的DRR图像作为源域,未标记的CXR图像作为目标域。模型在CXR测试集中实现了78.26%的TB诊断准确率,以5.79%到13.77%的提升幅度超过现有的无监督域适应模型,显著性p值低于0.001。

【技术实现步骤摘要】

本专利技术属于医学图像处理,具体涉及一种胸部x射线图像肺结核诊断的无监督域适应方法。


技术介绍

1、肺结核(tb),由结核分枝杆菌引起,是一个全球性的健康问题。确诊tb需要在临床样本如痰液、脓液或组织活检中检测结核分枝杆菌。这种诊断过程,主要依赖于血液或痰液培养,可能需要两到六周时间,并且成本也很高。胸部x射线(cxr)成像作为一种更经济、更易获得的选择,在结核病筛查中至关重要。由于噪音和遮挡,cxr图像的有效解释是具有挑战性的,且手动注释耗时。因此,开发自动化系统以检测cxr图像中的肺结核是重要且有意义的。

2、近年来,利用机器学习和深度学习技术,已经开发了许多计算机辅助诊断(cad)系统,用于疾病诊断。然而,这些系统在结核病(tb)诊断中的应用仍然受限。最显著的是,这些系统是有监督的,基于单模态,严重依赖大量的标记数据,通常是cxr图像。注释cxr图像既费力又耗时。更重要的是,即使对于经验丰富的放射科医师,准确识别cxr图像中与tb相关的异常也是具有挑战性的,这导致了频繁的误诊或漏诊,由于tb的非特异性。此外,以监督方式训练的模型在暴露于新数据或具有不同分布的任务时,通常显示出有限的泛化能力,这是众所周知的“域偏移”问题。根本挑战在于有效利用现有知识来克服标签稀缺和有限泛化能力的问题。

3、为了应对这些挑战,本专利技术介绍了一种新型的跨模态无监督域适应模型,该模型结合cxr和ct图像来诊断cxr图像中的肺结核。这种方法旨在利用ct图像中可用的详细病变信息,ct图像相对于cxr具有显著优势,例如三维成像能力,有助于减少误诊。本专利技术的模型是在域适应框架下构建的,包括三个关键模块:多尺度特征提取模块、注意力模块和域适应模块。请注意,在训练期间,2d cxr图像和由3d ct图像生成的2d数字重建x射线图(drr)图像被输入到模型中,且只需要ct图像的标签(即相应的cxr图像的标签)。该模型被训练为具有将cxr和drr图像转换到同一特征空间的能力,因此drr标签可以帮助分类cxr图像。这是第一个用于cxr图像中tb诊断的无监督域适应模型。有大量工作专注于使用cxr图像进行肺部筛查和疾病检测,而对结核病(tb)的诊断关注较少。现有的cxr图像中tb诊断模型大致可以分为有监督和无监督两类,根据它们的训练策略,即是否使用标记图像。早期工作通常属于有监督类别,使用从cxr图像中提取的像素级特征来训练传统的二元分类模型。由于tb在cxr图像中的多样表现,像素级特征不足以区分tb与其他肺病,因此传统机器学习模型并不令人满意。

4、深度学习模型也已应用于tb诊断。一项开创性工作将在imagenet数据集上预训练的网络适应到私有的cxr图像数据集上,实现了83%的tb诊断准确率。后来提出了一个有监督模型,包括三个预训练的卷积神经网络,用标记的cxr图像进行了精炼,达到了最高84.7%的测试准确率。在一项自定义的、简单的cnn模型中,包括五个卷积块,用于区分正常和tb一致的肺部发现,实现了86.2%的测试准确率。在另一项研究中,比较了九种深度cnn模型,包括resnet18、resnet50、resnet101、chexnet、inceptionv3、vgg19、densenet201、squeezenet和mobilenet,利用它们的预训练权重进行迁移学习。这些模型经过严格的训练、验证和测试,用于tb和非tb分类,chexnet表现最佳,达到了96.40%的满意准确率。至于无监督模型,为了缓解标签稀缺问题,提出了一个生成对抗网络(gan),用于增强tb图像,使用对比未配对的cxr图像。在另一项研究中,提出了一个类似的gan模型,并在部分标记的cxr图像数据集下的无监督域适应框架中进行了训练。

5、领域适应需要假设源领域和目标领域共享相同的标签和特征空间,以及一致的条件概率分布。无监督领域适应关注的挑战是利用源领域数据来预测目标领域数据的标签,尤其是当这两个领域之间的边缘概率分布存在差异时。传统的无监督领域适应方法,例如那些在文献中提到的,已经在各个领域取得了显著的成功。然而,这些方法通常在较低层面上学习特征,导致分布差异的减少不够充分。深度学习的出现带来了重大进展,近年来深度神经网络表现出色。深度特征擅长抑制任务特定因素,提取输入数据的深层抽象表示,并跨不同类别转移因素。这一进步显著增强了模型学习领域不变特征的能力。与传统的迁移学习中常用的微调技术不同,无监督领域适应专注于两个领域之间的相似性。在其训练过程中,不使用目标领域的注释。在这种情况下,卷积神经网络(cnn)的功能不仅仅是提取领域不变特征。根据深度神经网络在无监督领域适应方法中扮演的不同角色,它们可以分为两类。

6、第一类包括基于度量的策略,它们在cnn的主干网络中加入差异度量层,以对齐提取特征的分布。早期的深度领域适应模型,如动态对抗适应网络(dann)和深度领域混淆(ddc),将最大均值差异(mmd),一种广泛使用的度量标准,用于衡量源域和目标域提取特征之间的分布差异,集成到神经网络中作为损失函数。此外,深度适应网络(dan)模型采用多核方法,构建整体核心的多核mmd,解决了最佳核选择的挑战。深度相关性对齐(deep-coral)通过线性变换对齐源域和目标域分布的二阶统计信息。一项研究实施了多尺度结构,以收集多级信息并在每个结构层面对齐分布差异,从而增强网络的转移能力。提出了一种批量核范数最大化(bnm)方法,通过最大化数据批次分类输出矩阵的核范数来解决熵最小化的局限性。这种方法在标签不足的情况下提高了预测结果的区分性和多样性。深度子域适应网络(dsan)采用基于本地mmd的方法来对齐多个子域中的分布,有效处理目标域由多种不同子域组成的情况。另一类是基于对抗的,它们包含一个判别器网络,用于确定输入数据属于哪个领域。这一类在最近的生成对抗网络(gans)进展中取得了显著进步。这一领域的一个显著发展是动态对抗适应网络(daan),它结合了对抗学习的原理和动态注意力机制。这种模型在各种应用中表现出前景,尤其是在领域变化显著的场景中。gans还被应用于像图像风格转换和领域适应分割等任务。提出了td-gan模型,用于cxr图像中的多器官分割。提出了一种条件领域适应生成对抗网络(codagan),用于cxr图像中的肋骨分割。此外,一种cycle-gan利用未配对的ct和cxr图像以及直方图匹配来抑制高分辨率胸部x射线图像中的骨骼,提高其诊断效率。


技术实现思路

1、专利技术目的:针对基于cxr图像的分析面临巨大的挑战,包括重叠的解剖结构、大量的噪声和伪影以及固有的解剖复杂性,以及胸部cxr图像疾病诊断的困难。在本专利技术中,重新设计了胸部cxr图像的肺结核诊断任务,并提出了一种胸部x射线图像肺结核诊断的无监督域适应方法,利用更加高维的ct数据对cxr进行辅助诊断。利用来自三维ct图像的数字重建放射学图像和生成的标签来指导未标注的二维胸部cxr图像的肺结核诊断。

2、技术方案:本专利技术提出了一种胸部x射线图像肺结核诊断的无监本文档来自技高网...

【技术保护点】

1.胸部X射线图像肺结核诊断的无监督域适应方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的胸部X射线图像肺结核诊断的无监督域适应方法,其特征在于:建立的CXR图像肺结核诊断模型可用于除肺结核外任何可标注的肺部疾病的诊断与检测。

3.根据权利要求1所述的胸部X射线图像肺结核诊断的无监督域适应方法,其特征在于:将收集到的数据分为训练集和测试集的比例包括但不限于8:2;对收集到的数据的预处理方法包括归一化,随机水平翻转,随机垂直翻转,随机裁剪,灰度变换。

4.根据权利要求1所述的胸部X射线图像肺结核诊断的无监督域适应方法,其特征在于:所述端到端的CXR图像肺结核诊断模型分为特征提取,低阶特征的对齐,高阶语义特征对齐,注意力模块和源域分类问题;特征提取采用已有的成熟提取框架ResNet-50,其包含4个残差块,每个残差块包含若干层;针对不同阶段的特征进行相应的特征对齐处理,低阶特征的对齐采用MMD损失,高阶语义特征对齐采用域对抗损失;在高阶语义特征对齐和源域分类问题之前加入注意力模块;源域分类问题是要求最终的输出为图像的类别,分为三类,正常类别,肺结核类别,其他肺部疾病类别。

5.根据权利要求1所述的胸部X射线图像肺结核诊断的无监督域适应方法,其特征在于:所述的损失函数分为低阶特征对齐的损失函数和高阶语义特征对齐的损失函数,低阶特征对齐的损失函数为:

...

【技术特征摘要】

1.胸部x射线图像肺结核诊断的无监督域适应方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的胸部x射线图像肺结核诊断的无监督域适应方法,其特征在于:建立的cxr图像肺结核诊断模型可用于除肺结核外任何可标注的肺部疾病的诊断与检测。

3.根据权利要求1所述的胸部x射线图像肺结核诊断的无监督域适应方法,其特征在于:将收集到的数据分为训练集和测试集的比例包括但不限于8:2;对收集到的数据的预处理方法包括归一化,随机水平翻转,随机垂直翻转,随机裁剪,灰度变换。

4.根据权利要求1所述的胸部x射线图像肺结核诊断的无监督域适应方法,其特征在于:所述端到端的cxr图像肺结核诊...

【专利技术属性】
技术研发人员:聂梓伟赵嘉霖何健杨孝平
申请(专利权)人:南京大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1