一种基于联邦学习和对比学习的医学图像分类方法技术

本发明专利技术公开了一种基于联邦学习和对比学习的医学图像分类方法，在联邦学习的训练中，将当前训练轮次的本地模型和上一轮次的全局模型与本地模型结合起来进行训练，减少本轮模型与上一轮全局模型特征表示之间的距离，增加本轮模型与上一轮本地模型特征表示之间的距离，运用模型之间的监督对比损失，让客户端的本地模型在训练过程中逐渐靠近全局模型。这种方法能有效地减轻数据异构性所带来的性能下降问题，增加模型的泛化能力。增加模型的泛化能力。增加模型的泛化能力。

【技术实现步骤摘要】
一种基于联邦学习和对比学习的医学图像分类方法


[0001]本专利技术涉及图像处理领域，涉及医学图像分类方法，具体涉及一种基于联邦学习和对比学习的医学图像分类方法。

技术介绍

[0002]图像分类是计算机视觉领域中最常见最基础的任务之一，其本质是根据图像中的语义信息所表现出的不同特征，见不同类别的图像区分开的图像处理方法。例如，针对包含黑色素瘤、良性黑色素细胞病变、基底细胞癌和光化性角化病等皮肤病进行图像分类和识别，或者针对新冠病毒和其它细菌型感染的胸部X射线的图像进行检测。然而，由于数据隐私保护的问题和来自不同机构的数据异构性问题，使得当前的医学图像分类效果并不是很理想。
[0003]数据的异构性指的是各个医疗机构之间的数据是非独立同分布的，不同的机构由于采样方式不同，其数据集往往存在很大的差异，而这往往会导致模型性能的严重下降。联邦学习在针对数据隐私保护的问题中做出了很大的贡献，然而在训练具有严重数据异构性的数据时，会造成客户端训练的模型之间存在严重的差异，从而随着通信轮数的增加，模型的性能会出现严重的倒退。

技术实现思路

[0004]本专利技术的目的是提供一种基于联邦学习和对比学习的医学图像分类方法，这种方法能有效地减轻数据异构性所带来的性能下降问题，增加模型的泛化能力。
[0005]为解决现有技术存在的问题，本专利技术采用的技术方案如下：
[0006]一种基于联邦学习和对比学习的医学图像分类方法，在联邦学习的训练中，将当前训练轮次的本地模型和上一轮次的全局模型与本地模型结合起来进行训练，减少本轮模型与上一轮全局模型特征表示之间的距离，增加本轮模型与上一轮本地模型特征表示之间的距离，运用模型之间的监督对比损失，让客户端的本地模型在训练过程中逐渐靠近全局模型，从而提升了模型的性能，减轻了数据异构性所带来的影响。
[0007]本专利技术的优点或效果：
[0008]联邦学习允许各个医疗机构进行跨机构协同训练，同时数据保存在本地，有效解决了数据隐私保护问题；然而，在实际应用于医学图像分类时，由于各个客户端之间的数据异构性问题，导致最终训练的分类模型无法学习到良好的特征表示。针对这个问题，本专利技术提出了一种联邦对比学习的方法用于缓解数据异构性所带来的性能倒退问题；它通过将本地模型和全局模型联合起来进行对比学习，使得每个本地模型能够学习到其它客户端数据的语义信息，进而促使模型学习到更好的特征表示，并提升了模型的泛化能力。
[0009]为了证明方法的有效性，本专利技术在两个用于医学图像分类的数据集上分别进行了实验，均获得了较好的实验结果，由此可以得出，在不考虑通信成本的情况下，本方法在数据异构性的数据中表现出较强的鲁棒性，具有较好的应用前景。
附图说明
[0010]图1为基于联邦学习和对比学习的医学图像分类方法框架图；
[0011]图2为针对不同的客户端数量，在皮肤病变数据集中，本专利技术基于联邦学习和对比学习的医学图像分类方法与其它联邦学习方法的性能曲线对比图；
[0012]图3为针对不同的客户端数量，在新冠肺病毒测数据集中，本专利技术基于联邦学习和对比学习的医学图像分类方法与其它联邦学习方法的性能曲线对比图。
具体实施方式
[0013]下面结合实施例和附图对本
技术实现思路
作进一步的阐述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0014]以下将从背景核心技术、实施方法介绍、对比实验和消融实验三个方面进行详细说明。背景核心技术介绍：
[0015]1.联邦学习
[0016]联邦学习是一种分布式机器学习技术，它通过将数据保存在本地，允许每一个合作机构(如医院)进行跨机构协作训练，在训练过程中只交换模型参数，不交换本地数据，从而保证了在数据不需要共享的情况下合作训练模型，实现了数据隐私保护。
[0017]联邦学习的训练过程主要分为如下几个步骤：
[0018](1)中央服务器将当前的全局模型发送给每个客户端；当前来自第t
‑
1轮聚合之后的全局模型被分发给每一个客户端，作为每个客户端的本地模型以进行本地训练，设第k个(k＝1,2,...,K)个本地客户端的本地模型为
[0019](2)客户端S
k
使用本地数据训练模型；每一个客户端在获取到来自中央服务器的模型后，使用基于交叉熵损失函数和随机梯度下降法进行训练，设表示客户端S
k
用于训练的损失函数，则模型的更新如公式(1)所示，其中η代表模型训练时的学习率：
[0020][0021](3)每一个客户端将训练之后的模型发送给中央服务器；在训练完成之后，客户端S
k
将其本地模型发送给服务器；
[0022](4)中央服务器聚合本地模型；服务器负责将模型使用加权平均的方式来聚合，一般使用数据量的大小来表示权重，关于全局模型的聚合如公式(2)所示：
[0023][0024]其中，|D|表示各个客户端数据集样本数量总和，|D
k
|表示来自客户端S
k
的本地数据的样本数量。
[0025]联邦学习的目标是在中央服务器的帮助下，在不交换数据的前提下从各个客户端学习一个全局模型w，因此，模型总体优化目标如公式(3)所示：
[0026][0027]其中，L
k
(w)表示客户端S
k
训练模型时的交叉熵损失，其公式如(4)所示：
[0028][0029]在公式(4)中，D
k
表示客户端S
k
对应的的数据集，x代表数据中的样本，y代表数据中的标签。
[0030]2.对比学习
[0031]对比学习作为自监督学习中的一种学习方式，尝试从无标签的数据中学习良好的特征表示，同时，在有监督学习领域，同样衍生出了监督对比学习的学习方法，即：针对不同类标签的图像数据，通过对比学习的方式，有效利用类标签信息，针对图像数据生成的特征空间，属于同一类的图像数据在特征空间中拉拢在一起，同时将属于不同类的图像数据推开。通过这种方式，大幅度提高了图像分类任务的准确率。
[0032]本专利技术主要研究监督对比学习，其主要是在自监督学习的基础上衍生出，针对有标签数据，可以根据类标签将数据分为正对和负对，即：来自相同类标签的数据为一组正对，来自不同类标签的数据为一组负对。监督对比学习的目标是，减少来自同一类图像的特征表示之间的距离，增加来自不同类图像的特征表示之间的距离。
[0033]设表示图像x
i
的所有正对图像，同样地，针对图像x
i
生成的特征向量z
i
，其正对和负对为和则其监督对比损失函数的定义如公式(5)所示：
[0034][0035]其中表示z
i
的正对样本数量，τ表示温度参本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于联邦学习和对比学习的医学图像分类方法，其特征在于，在联邦学习的训练中，将当前训练轮次的本地模型和上一轮次的全局模型与本地模型结合起来进行训练，减少本轮模型与上一轮全局模型特征表示之间的距离，增加本轮模型与上一轮本地模型特征表示之间的距离，运用模型之间的监督对比损失，让客户端的本地模型在训练过程中逐渐靠近全局模型。2.根据权利要求1所述的基于联邦学习和对比学习的医学图像分类方法，其特征在于，训练的模型框架由一个用于分类的主干网络密集连接卷积网络(Densely ConnectedConvolutional Networks，简称DenseNet)、一个线性映射层和一个全连接层组成，DenseNet用于提取图像的特征，线性映射层用于将特征向量映射到指定的维度，全连接层用来产生每一个类别的预测值；针对第t轮的通信训练，包括如下步骤：步骤1，服务器端将当前轮的全局模型发送给各个客户端，由客户端来对当前的全局模型进行处理，训练当前轮的本地模型；步骤2，客户端保存着当前需要进行训练的本地模型、服务端分发的全局模型和上一轮训练出的本地模型，使用基于监督对比损失和交叉熵损失的混合损失函数进行训练，监督对比损失函数如公式(6)所示：其中，sim()表示余弦相似度函数，τ为温度参数用于控制损失值...

【专利技术属性】
技术研发人员：刘振丙，吴峰峰，路皓翔，王文颢，范涛，李威醒，
申请(专利权)人：桂林电子科技大学，
类型：发明
国别省市：