基于域特征对齐迁移学习的医学影像自动分析方法及系统技术方案

本发明专利技术公开了一种基于域特征对齐迁移学习的医学影像自动分析方法及系统，在目标医学图像数据集上，先按比例划分为训练集、验证集和测试集；首先利用不同预训练方法获取一组预训练神经网络模型，然后在目标域训练数据集上进行一代的微调训练，根据提出的迁移性指标筛选迁移性最高的预训练模型，再基于域特征对齐模块完成整个迁移学习步骤；利用测试集对迁移后神经网络模型进行测试。通过本发明专利技术，能够实现在迁移学习过程中，对一组预训练模型集，针对目标任务的可迁移性进行量化评价；可以在迁移过程中对预训练和目标神经网络模型中的特征沿通道进行对齐，充分提升迁移学习的效率，可广泛运用在各种医学图像数据集之间的迁移学习中。学习中。学习中。

【技术实现步骤摘要】
基于域特征对齐迁移学习的医学影像自动分析方法及系统


[0001]本专利技术涉及计算机视觉技术中的迁移学习基于领域，特别涉及一种基于域特征对齐迁移学习的医学影像自动分析方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。

技术介绍

[0002]基于深度学习的图像自动分析算法需要大规模标注样本用来训练，而医学图像受限于数据采集以及伦理规范，缺乏足够的标注。因而对于深度学习的医学影像自动分析而言，从少量注释中学习是一个长期存在且具有挑战性的任务。研究者们发现“先预训练
‑
再微调”的迁移学习流程可以显著提高各种医学影像自动分析任务的性能，如器官分割，病变分类，病变检测等任务。
[0003]然而在医学影像领域，目前大量的工作都着重于提升预训练阶段的表征学习方式，很少有工作关注微调过程中的迁移学习方式。在自然图像领域，有少量工作提出了改善微调过程的迁移学习方法，主要分为两类：第一类是基于正则化的方法，其在微调过程中用预训练模型的权重或特征对目标模型施加正则化；第二类是基于策略网络的方法，其引入多个生成策略的网络模块来逐层的筛选可迁移的卷积层或滤波器。但是第一种方法只适用于源域和目标域差距较小的情况，而第二种方式需要很大的计算成本。由于不同的成像方式、解剖区域和采集图像等因素，医学图像数据集的分布差异很大。此外，三维医学任务本身已经需要极大的计算成本。显然，以上两种迁移方法均不适用于医学图像任务。
[0004]在跨域迁移领域，有一系列工作发现卷积神经网络中的批归一化层中存储着训练数据集的域相关信息。基于这一假设，研究者们致力于根据源域数据和目标域数据的统计特性来实现两个域图像风格之间的转换，从而提升迁移学习的效率。跨域迁移领域中的源域数据和目标域数据之间语义信息一致，仅仅是图像风格有所不同，且在迁移过程中源域数据是可用的。而在医学图像的“先预训练
‑
再微调”的迁移学习中，一方面源域和目标域之间的距离可能会很大，另一方面源域数据在微调阶段是不可见的，所以基于统计特性转换图像风格的迁移学习方法在该情况下不适用。
[0005]经过检索发现：
[0006]授权公告号为CN 113269734B的中国专利技术专利申请《基于元学习特征融合策略的肿瘤图像检测方法及装置》，将多个网络模型在开源数据集上进行预训练，并将肿瘤图像输入到网络模型中，提取出多层次源域特征向量；利用元学习卷积核将不同尺度的源域特征向量与目标域特征向量的尺度进行尺度对齐，并将统一尺度后的源域特征向量融合为单层次的源域特征图；基于元学习卷积核将多尺度的单层次源域特征图按照目标网络的结构迁移到输入肿瘤图像的目标域特征向量中；将融合有源域特征向量的目标域特征向量输入到检测网络，利用级联的多目标检测网络完成对候选框的回归和检测目标的分类。该方法存在如下技术问题：
[0007]当源域数据集和目标域数据集之间的分布差别太大时，直接将源域特征融入目标
域特征可能导致负迁移，对目标任务无法提升性能；
[0008]卷积神经网络中不同的通道会学习不同模式的特征，没有考虑源域特征和目标域特征之间的通道是否对齐，会阻碍迁移学习的有效性；
[0009]多层次源域特征和元学习卷积核的引入会导致模型参数量剧增，对计算资源要求较高，不适合于已经需要很大计算量的3D医学图像分析任务。

技术实现思路

[0010]本专利技术针对现有技术中存在的上述不足，提供了一种基于域特征对齐迁移学习的医学影像(医学CT影像)自动分析方法及系统，同时提供了一种相应的计算机终端及计算机可读存储介质。
[0011]根据本专利技术的一个方面，提供了一种基于域特征对齐迁移学习的医学影像自动分析方法，包括：
[0012]对于给定的源域图像训练集，搭建源域卷积神经网络模型，对所述源域卷积神经网络模型进行预训练，得到一组预训练模型；
[0013]对于给定的若干目标域医学CT图像，根据设定比例将所述图像划分为训练集、验证集和测试集，生成目标域数据集；
[0014]基于所述预训练模型的主干网络框架，根据目标医学自动分析任务搭建相应的目标域卷积神经网络模型，得到目标域模型；
[0015]对于所述目标域模型，依次利用一组预训练模型对其主干网络参数进行初始化，并采用所述目标域数据集中的训练集进行一代微调训练，得到一代微调目标域模型；基于预训练模型生成的源域特征和一代微调目标域模型生成的目标域特征沿通道分布的一致性计算可迁移性，并利用所述可迁移性作为度量筛选迁移性最高的一个预训练模型，即为针对目标医学自动分析任务性能最佳的一个预训练模型；
[0016]利用最佳的预训练模型的参数对所述目标域模型的主干网络参数进行初始化，然后利用所述目标域数据集中的训练集完成多代微调训练，实现在目标域上对该最佳的预训练模型的迁移学习，从而得到医学影像自动分析模型；
[0017]利用所述医学影像自动分析模型，在所述目标域数据集的测试集上完成对医学影像的自动分析。
[0018]优选地，所述目标域卷积神经网络模型具有跨域特征对齐和注意力机制的批归一化层。
[0019]优选地，所述基于所述预训练模型的主干网络框架，根据目标医学自动分析任务搭建相应的目标域卷积神经网络模型，包括：
[0020]对输入的医学CT图像进行预处理；
[0021]采用与预训练模型一致的主干网络框架，根据具体目标医学任务在主干网络上搭建顶层分类器，得到目标域模型主干网络；
[0022]在所述目标域模型主干网络的批归一化层中，计算源域特征和目标域特征沿通道分布的相似性，生成源域特征和目标域特征生成通道相关性矩阵，引入注意力机制进行通道校准，进而实现跨域特征对齐，得到目标域卷积神经网络模型。
[0023]优选地，所述对输入的医学CT图像进行预处理，包括：重采样、HU值变换、归一化和
裁剪。
[0024]优选地，在所述目标域模型主干网络的批归一化层中，生成源域特征和目标域特征生成通道相关性矩阵，引入注意力机制进行通道校准，进而实现跨域特征对齐，包括：
[0025]所述目标域模型主干网络的批归一化层的输入特征为x∈R
B
×
K
×
H
×
W
,其中，K为特征图通道数目，B为一次训练所选取的样本数，H为图像长度，W为图像宽度；首先对x算每一个通道内的均值μ∈R1×
K
×1×1和方差σ2∈R1×
K
×1×1，然后对x进行标准化：
[0026][0027]其中，为标准化后的特征，∈是一个常数，用来保证分母非零；的每一个通道服从标准正态分布N(0,1)，然后采用一组仿射变换参数对标准化后的特征进行如下变换：
[0028][0029]其中，f
i
为批归一化层的第i个通道的输出特征，γ
i
为第i个通道的放缩仿射变换参数，β
i
为第i个通道的偏移仿射变换参数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于域特征对齐迁移学习的医学影像自动分析方法，其特征在于，包括：对于给定的源域图像训练集，搭建源域卷积神经网络模型，对所述源域卷积神经网络模型进行预训练，得到一组预训练模型；对于给定的若干目标域医学CT图像，根据设定比例将所述图像划分为训练集、验证集和测试集，生成目标域数据集；基于所述预训练模型的主干网络框架，根据目标医学自动分析任务搭建相应的目标域卷积神经网络模型，得到目标域模型；对于所述目标域模型，依次利用一组预训练模型对其主干网络参数进行初始化，并采用所述目标域数据集中的训练集进行一代微调训练，得到一代微调目标域模型；基于预训练模型生成的源域特征和一代微调目标域模型生成的目标域特征沿通道分布的一致性计算可迁移性，并利用所述可迁移性作为度量筛选迁移性最高的一个预训练模型，即为针对目标医学自动分析任务性能最佳的一个预训练模型；利用最佳的预训练模型的参数对所述目标域模型的主干网络参数进行初始化，然后利用所述目标域数据集中的训练集完成多代微调训练，实现在目标域上对该最佳的预训练模型的迁移学习，从而得到医学影像自动分析模型；利用所述医学影像自动分析模型，在所述目标域数据集的测试集上完成对医学影像的自动分析。2.根据权利要求1所述的基于域特征对齐迁移学习的医学影像自动分析方法，其特征在于，所述目标域卷积神经网络模型具有跨域特征对齐和注意力机制的批归一化层。3.根据权利要求2所述的基于域特征对齐迁移学习的医学影像自动分析方法，其特征在于，所述基于所述预训练模型的主干网络框架，根据目标医学自动分析任务搭建相应的目标域卷积神经网络模型，包括：对输入的医学CT图像进行预处理；采用与预训练模型一致的主干网络框架，根据具体目标医学任务在主干网络上搭建顶层分类器，得到目标域模型主干网络；在所述目标域模型主干网络的批归一化层中，计算源域特征和目标域特征沿通道分布的相似性，生成源域特征和目标域特征生成通道相关性矩阵，引入注意力机制进行通道校准，进而实现跨域特征对齐，得到目标域卷积神经网络模型。4.根据权利要求3所述的基于域特征对齐迁移学习的医学影像自动分析方法，其特征在于，所述对输入的医学CT图像进行预处理，包括：重采样、HU值变换、归一化和裁剪。5.根据权利要求3所述的基于域特征对齐迁移学习的医学影像自动分析方法，其特征在于，在所述目标域模型主干网络的批归一化层中，生成源域特征和目标域特征生成通道相关性矩阵，引入注意力机制进行通道校准，进而实现跨域特征对齐，包括：所述目标域模型主干网络的批归一化层的输入特征为x∈R
B
×
K
×
H
×
W
,其中，K为特征图通道数目，B为一次训练所选取的样本数，H为图像长度，W为图像宽度；首先对x算每一个通道内的均值μ∈R1×
K
×1×1和方差σ2∈R1×
K
×1×1，然后对x进行标准化：其中，为标准化后的特征，∈是一个常数，用来保证分母非零；的每一个通道服从标
准正态分布N(0,1)，然后采用一组仿射变换参数对标准化后的特征进行如下变换：其中，f
i
为批归一化层的第i个通道的输出特征，γ
i
为第i个通道的放缩仿射变换参数，β
i
为第i个通道的偏移仿射变换参数；令预训练模型中的源域仿射变换参数为目标域仿射变换参数为计算所述源域仿射变换参数和所述目标域仿射变换参数之间跨通道的相似性C
p,q
为：其中，用来描述每个通道内域特征的分布，T为一个温度系数，用于调节迁移重要性分布的陡缓程度；s代表源域，q索引源域特征对应的通道，t代表目标域，p索引目标域特征对应的通道；C∈R
K
×
K
反映了源域和目标域之间的跨通道相关性，作为预训练模型的迁移性度量；为了防止负迁移，根据对角线的值稀疏化C
p,q
为：其中，C
p,p
为源域特征和目标域特征对应通道之间的相关性；利用跨通道相关性C
p,q
作为注意力矩阵来对齐源域特征和目标域特征...

【专利技术属性】
技术研发人员：顾运，张楚嫣，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：