基于知识蒸馏的联邦自监督对比学习图像分类系统及方法技术方案

技术编号:41091372 阅读:47 留言:0更新日期:2024-04-25 13:51
本发明专利技术公开了基于知识蒸馏的联邦自监督对比学习图像分类系统及方法,属于深度学习和计算机技术领域,具体为:中央服务器随机初始化全局模型,并下发给每个客户端,客户端动态更新本地模型;随机选取参与本次聚合的客户端,接收全局模型参数,根据发散感知方法动态更新本地模型参数,使用本地图像数据集基于SimCLR算法进行自监督对比学习并利用知识蒸馏学习全局模型的结构知识,然后客户端将参数上传至中央服务器;中央服务器针对接收到的模型参数,根据客户端数据量基于FedAvg算法进行加权平均,得到聚合后的全局模型,并下发给每个客户端;重复执行直到每个客户端得到一个收敛的全局模型,用于完成图像分类。本发明专利技术安全性好、效率高、准确性好。

【技术实现步骤摘要】

本专利技术属于深度学习和计算机,尤其是涉及基于知识蒸馏的联邦自监督对比学习图像分类系统及方法


技术介绍

1、随着大数据技术的发展,重视数据隐私和安全成为一大趋势。同时大多数行业的数据呈现数据孤岛现象,如何在满足用户的数据隐私保护前提下,进行跨用户的数据合作是一项难题,联邦学习则是解决这一难题的关键技术。

2、例如在工业场景下,不同的企业需要联合进行故障检测模型建模。企业a拥有一部分故障数据,但由于数据量少,希望用更多的数据,比如企业b的故障数据来联合建模。

3、针对海量的图像数据,传统的集中式机器学习是将数据集中在一个中央位置,然后对齐训练,但集中式训练存在以下问题:1)数据安全性问题,因为数据必须被传输至集中服务器;2)当数据量非常庞大时,集中式学习会面临大量数据的问题,导致训练时间和资源成本增加。这些问题使得集中式学习难以应用于一些需要处理大量数据的任务;3)边缘端大量的无标签数据无法利用,造成数据资源的浪费。

4、联邦自监督学习范式致力于在网络边缘实现模型的协作训练,无需集中原始数据,从而极大地改善了数据隐私问题本文档来自技高网...

【技术保护点】

1.一种基于知识蒸馏的联邦自监督对比学习图像分类系统,其特征在于:包括初始化模块、客户端选择模块、基于知识蒸馏的自监督对比学习模块、全局模型聚合模块、模型下发模块,其中:

2.一种基于知识蒸馏的联邦自监督对比学习图像分类方法,其特征在于,包括以下步骤:

3.根据权利要求2所述的一种基于知识蒸馏的联邦自监督对比学习图像分类方法,其特征在于:步骤1中,全局模型是一个网络结构为Resnet18的编码器和一个双层MLP映射头构成。

4.根据权利要求2所述的一种基于知识蒸馏的联邦自监督对比学习图像分类方法,其特征在于:步骤3中,基于SimCLR算法进行自监督对比...

【技术特征摘要】

1.一种基于知识蒸馏的联邦自监督对比学习图像分类系统,其特征在于:包括初始化模块、客户端选择模块、基于知识蒸馏的自监督对比学习模块、全局模型聚合模块、模型下发模块,其中:

2.一种基于知识蒸馏的联邦自监督对比学习图像分类方法,其特征在于,包括以下步骤:

3.根据权利要求2所述的一种基于知识蒸馏的联邦自监督对比学习图像分类方法,其特征在于:步骤1中,全局模型是一个网络结构为resnet18的编码器和一个双层mlp映射头构成。

4.根据权利要求2所述的一种基于知识蒸馏的联邦自监督对比学习图像分类方法,其特征在于:步骤3中,基于simclr算法进行自监督对比学习,具体为:

5.根据权利要求2所述的一种基于知识蒸馏的联邦自监督对比学习图像分类方法,其特征在于:步骤3中,同时利用知识蒸馏学习全局模型的结...

【专利技术属性】
技术研发人员:李骏罗丹夏鹏程崔继轩
申请(专利权)人:南京理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1