【技术实现步骤摘要】
基于任务迁移的联邦无监督图像分类模型训练方法、分类方法及设备
[0001]本专利技术涉及人工智能
，尤其涉及一种基于任务迁移的联邦无监督图像分类模型训练方法、分类方法及设备。
技术介绍
[0002]随着物联网设备的快速增加，移动设备、智能手机等通过开放的通信网络平台进行连接，为通过数据共享提高新兴应用的服务质量开辟了新的可能性。联邦学习技术对于解决物联网场景下的隐私保护训练是有效的，如用户习惯预测、个性化推荐和无线网络优化，其成功的部分原因是对多个客户端的大量标记数据进行训练。现有的联合学习方法并不能通过对标签数据的大量训练实现泛化性能。然而，在现实的物联网场景中，由于用户习惯或没有足够的专业知识来正确标注数据，客户的数据总是伴随着很少的标签。示例性的，一手机健身应用程序可以纠正用户的身体姿势，但在这种情况下，由于用户可能无法评估自己的姿势是否合格，从而无法为应用程序提供对应的数据标签。因此，大型标记数据集所带来的性能优势是以成本和应用程序有限为代价的。
[0003]传统的联邦学习通常是依靠大量的标签数据来实现...
【技术保护点】
【技术特征摘要】
1.一种基于任务迁移的联邦无监督图像分类模型训练方法，其特征在于，所述方法在各客户端执行，包括以下步骤：获取本地数据集，所述本地数据集包括含完整类别标签的源数据和含部分类别标签的目标数据，每个数据包含一张图像样本；获取初始神经网络模型，所述初始神经网络模型包括自适应增量层和深度迁移模块；所述自适应增量层为在所述初始神经网络模型的每个卷积层后添加一个全连接层；将所述本地数据集的图像样本按批次输入所述初始神经网络模型进行特征提取，利用预设域分类器判别相应图像样本属于所述源数据或所述目标数据，并利用预设预混淆层通过域混淆对齐域，构建域混淆竞争机制；采用知识蒸馏方法利用所述源数据计算每个类别之间的关系数值，并求取各关系数值的平均值作为与相应源数据具备相关性的目标数据的软标签，以输出相应图像样本的类别；采用所述本地数据集对所述初始神经网络进行训练，构建域分类损失、域混淆损失和软标签损失，根据所述域分类损失、所述域混淆损失和所述软标签损失构建联合损失，并计算各分类任务的平均精度，根据所述平均精度确定每类任务在损失函数中的权重，利用所述联合损失对所述初始神经网络模型的参数进行迭代，得到初始图像分类模型；将所述初始图像分类模型的模型参数发送至全局服务器，以生成共享模型；所述共享模型由所述全局服务器根据各客户端初始图像分类模型参数加权聚合得到；接收所述共享模型的参数，基于所述自适应增量层更新所述初始图像分类模型，以得到最终的图像分类模型。2.根据权利要求1所述的基于任务迁移的联邦无监督图像分类模型训练方法，其特征在于，所述域分类损失的损失函数定义为Softmax交叉熵损失函数，计算式为：其中，表示所述域分类损失；d表示所述本地数据集D
k
中的一个数据；y表示所述初始神经网络模型判定的图像类别；y
d
表示数据d的类别标签；p
d
表示对应网络输出的特征向量。3.根据权利要求2所述的基于任务迁移的联邦无监督图像分类模型训练方法，其特征在于，所述域混淆损失的计算式为：其中，L
conf
表示所述域混淆损失；d表示所述本地数据集D
k
中的一个数据；p
d
表示对应网络输出的特征向量。4.根据权利要求3所述的基于任务迁移的联邦无监督图像分类模型训练方法，其特征在于，所述软标签损失的计算式为：其中，L
soft
表示所述软标签损失；d表示所述本地数据集D
k
中的一个数据；y表示所述初始神经网络模型判定的图像类别；y
soft
表示数据d的软标签；q表示知识蒸馏后的网络输出。5.根据权利要求4所述的基于任务迁移的联邦无监督图像分类模型训练方法，其特征在于，所述域分类损失、所述域混淆损失和所述软标签损失采用加权组合构建联合...
【专利技术属性】
技术研发人员：高志鹏，赵晨，杨杨，芮兰兰，莫梓嘉，俞新蕾，段应文，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。