【技术实现步骤摘要】
本专利技术属于数据处理，更进一步涉及图像处理与分类中的一种基于原型一致性和自标记的联邦无监督模型训练及分类方法。本专利技术可用于客户端利用本地的无标签图像数据协同训练分类模型，以及利用训练好的模型对无标签的图像进行分类。
技术介绍
1、随着智能设备的快速增加，数据的规模和来源呈现出多样化和复杂化的特征。联邦学习作为一种新兴的机器学习范式，已经成为最常用的一种隐私保护模型共享方法。联邦学习的核心思想是在客户端上利用本地数据训练本地模型，并将模型参数发送到服务器以聚合全局模型。现有的联邦学习方法通常只考虑有监督的训练设置，其中客户端数据被完全标记。然而，在实际应用场景中，由于数据的多样性和复杂性，使其通常缺乏有效的标注信息，比如涉及用户隐私的数据，用户可能并不愿意对其进行标注和共享。联邦无监督学习的技术方案，尝试通过基于对比学习的无监督学习方式(如simclr)解决数据无标签问题，对比学习依赖于正负样本对从无标签数据中学习通用表示，然而，一些属于同一个类别的实例样本，在学习过程中会不可避免的被视为负样本对，这会造成类别冲突问题，阻碍模型学习到更好的表示，导致模型性能下降。此外，边缘设备上的数据在实际生产环境大多是非独立同分布的，如何解决各边端设备上数据的异质分布，从而提高模型精度，也是一个亟待解决的重要问题。
2、北京邮电大学在其申请的专利文献“基于语义聚类的联邦无监督图像分类模型训练方法、分类方法及设备”(申请号：202310205865.0，申请公布号：cn 116310530a，公布日期2023.06.23)中提出
3、平安科技有限公司在其申请的专利文献“基于联邦学习的图像分类方法、装置、计算机设备及介质”(申请号：202310499593.x，申请公布号：cn 116433986a，公布日期2023.05.06)中提出了一种联邦学习图像分类方法。该方法实现的步骤包括以下：(1)将获取的无标签图像切分，得到n个子图像，从n个子图像中随机选择一个子图像进行遮挡，得到遮挡子图像，确定所有未被遮挡的子图像组成正常子图像集合。(2)接收服务器发送的初始模型，初始模型包括编码器和解码器,将正常子图像集合中的所有子图像输入编码器中进行特征提取，得到特征向量，将特征向量和遮挡子图像输入解码器中进行特征重构，得到重构图像。(3)根据无标签图像和重构图像对初始模型进行训练优化，得到优化模型，将优化模型中的编码器发送至服务器。(4)接收服务器发送的参考编码器，将参考编码器与部署好的分类器组成分类模型，根据获取的有标签图像及其标签对分类模型进行训练，得到更新模型。(5)将获取的待处理图像输入更新模型进行图像分类，得到图像分类结果。该方法存在的不足之处是：该方法在客户端本地模型更新阶段简单的使用了联邦平均算法进行模型更新，而客户端的数据通常为非独立同分布，与全局模型之间的差异较大，简单的使用联邦平均算法更新客户端模型会不利于客户端模型的学习，导致训练的模型精度下降。
技术实现思路
1、本专利技术的目的在于针对上述现有技术存在的不足，提出一种基于原型一致性和自标记的联邦学习无监督模型训练及分类方法，用于解决联邦无监督学习存在的类别冲突问题、数据分布为非独立同分布情况下训练模型性能较低的问题。
2、实现本专利技术目的的思路是，本专利技术在客户端本地训练阶段，通过两种不同的数据增强方式，利用本地无标签数据构建训练集和缓存集。通过深度聚类的方式对缓存集数据进行聚类，获的缓存集数据的伪标签和本地类原型。接着通过约束训练集中同一样本不同增强视图之间的一致性，以及训练集中批次类原型和缓存集中本地类原型之间的一致性，使得模型学习到均匀一致的表示，克服了使用正负样本对造成的类别冲突问题。此外，本专利技术设计了一种基于相邻样本一致性的自标记策略，首先通过计算每个样本与其他样本之间的距离，找到每个样本的若干最近邻样本；其次，判断每个样本的最近邻样本中，邻居样本伪标签与其自身伪标签一致的数量是否大于设定的阈值，若大于，则将该样本标记为高置信度样本；最后，将所有高置信度样本与本地类原型进行原型对比学习，对本地模型学习到的表示进行优化，以解决深度聚类过程中由于样本误分类导致的误差累积问题，提高本地模型的鲁棒性。在客户端模型更新阶段，我们设计了一种基于模型相似度的客户端模型更新策略，根据客户端模型与全局模型的相似程度，动态的更新客户端本地模型，以解决客户端数据为非独立同分布情况下模型精度较低的问题。
3、实现本专利技术目的的具体步骤如下：
4、步骤1，构建由特征提取子网络和预测器子网络串联组成联邦无监督全局模型；
5、步骤2，生成训练集、缓存集和测试集；
6、步骤3，服务器将联邦无监督全局模型发送至各客户端；
7、步骤4，每个客户端利用本地模型更新公式，使用全局模型对该客户端的本地模型进行更新；
8、步骤5，客户端对缓存集数据进行聚类，获得缓存集伪标签和本地类原型；
9、步骤6，客户端通过约束批次类原型与本地类原型的一致性，以及基于相邻样本一致性的自标记对客户端的本地模型进行本地训练；
10、步骤7，将所有训练好的联邦学习客户端模型参数进行加权聚合，得到全局模型；
11、步骤8，判断聚合后的断联邦无监督全局模型是否满足训练终止条件，若是，则执行步骤8，否则，将当前迭代次数加1后执行步骤3；
12、所述的训练终止条件指的是满足下述条件之一的情形：
13、条件1，联邦无监督全局模型性能达到设定的预期目标；
14、条件2，联邦无监督全局模型的损失函数收敛。
15、步骤9，得到训练好的联邦学习全局模型；
16、步骤10，利用训练好的联邦无监督模型，将待分类的每张图像进行归一化的数据增强处理后进行分类，输出所述图像的类别。
17、本专利技术与现有技术相比有以下优点：
18、第一，本专利技术的训练方法在客户端本地模型训练阶段，通过深度聚类方法获得本地数据的伪标签和类原型，通过约束同一样本不同增强视图之间的一致性以及批次类原型和本地类原型之间的一致性，克服了现有技术使用正负样本进行对比学习导致的类别冲突问题，使本文档来自技高网...
【技术保护点】
1.一种基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，客户端利用本地模型更新公式，使用全局模型对该客户端的本地模型进行更新，客户端通过约束批次类原型与本地类原型的一致性，以及基于相邻样本一致性的自标记，对更新后的本地模型进行训练；该训练方法的具体步骤包括如下：
2.根据权利要求1所述的基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，步骤1中所述特征提取子网络的结构采用卷积神经网络ResNet18和5层的投影器网络串联组成；将卷积神经网络ResNet18中第一卷积层的卷积核大小设置为3*3，卷积步长设置为1；将投影器网络的输入层和全连接层的维度分别设置为512和4096，将第一、第二正则化层的维度分别设置为4096和256，激活层采用ReLu激活函数。
3.根据权利要求1所述的基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，步骤1中所述的预测器子网络的结构为4层的预测器网络，将预测器网络输入层的输入和输出维度分别设置为256和4096，正则化层的维度设置为4096，激活层采用ReLu激活函数，输出层的输入和输出维度分别设
4.根据权利要求1所述的基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，步骤2中所述生成训练集和缓存集，其中训练集为，选取至少50000张JPEG图像组成样本集，样本集中至少包括10种类别，对样本集中的每张图像依次进行两次归一化、随机水平翻转、随机颜色增强、随机灰度化、随机高斯滤波的增强处理，得到每张图像处理后的第一增强视图和第二增强视图，将处理后所有图像的增强视图组成训练集；所述缓存集是指，对样本集中的每张图像进行归一化的数据增强处理，将处理后的所有图像组成缓存集。
5.根据权利要求1所述的基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，步骤4中所述本地模型更新公式如下：
6.根据权利要求1所述的基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，步骤5中所述客户端对缓存集数据进行聚类的步骤如下：
7.根据权利要求3所述的基于原型一致性和自标记的联邦学习无监督模型训练方法，其特征在于，步骤5所述批次类原型是利用下式得到的：
8.根据权利要求3所述的基于原型一致性和自标记的联邦无监督模型方法，其特征在于，步骤5所述基于相邻样本一致性的自标记的步骤如下：
9.根据权利要求3所述的基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，步骤5所述对客户端的本地模型进行本地训练的步骤如下：
10.基于权利要求1所述训练好的联邦无监督模型的一种基于原型一致性和自标记的联邦无监督图像分类方法，其特征在于，对待分类的每张图像进行归一化的数据增强处理后输入到训练好的联邦无监督模型进行分类，输出图像的类别。
...【技术特征摘要】
1.一种基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，客户端利用本地模型更新公式，使用全局模型对该客户端的本地模型进行更新，客户端通过约束批次类原型与本地类原型的一致性，以及基于相邻样本一致性的自标记，对更新后的本地模型进行训练；该训练方法的具体步骤包括如下：
2.根据权利要求1所述的基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，步骤1中所述特征提取子网络的结构采用卷积神经网络resnet18和5层的投影器网络串联组成；将卷积神经网络resnet18中第一卷积层的卷积核大小设置为3*3，卷积步长设置为1；将投影器网络的输入层和全连接层的维度分别设置为512和4096，将第一、第二正则化层的维度分别设置为4096和256，激活层采用relu激活函数。
3.根据权利要求1所述的基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，步骤1中所述的预测器子网络的结构为4层的预测器网络，将预测器网络输入层的输入和输出维度分别设置为256和4096，正则化层的维度设置为4096，激活层采用relu激活函数，输出层的输入和输出维度分别设置为4096和256。
4.根据权利要求1所述的基于原型一致性和自标记的联邦无监督模型训练方法，其特征在于，步骤2中所述生成训练集和缓存集，其中训练集为，选取至少50000张jpeg图像组成样本集，样本集中至少包括10种...
【专利技术属性】
技术研发人员：张琛，黄铁林，鱼滨，毛文杰，解宇，刘伟明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。