基于合作博弈论和集成蒸馏的联邦推荐方法、设备及存储介质技术

技术编号:42209890 阅读:24 留言:0更新日期:2024-07-30 18:52
本发明专利技术公开了一种基于合作博弈论和集成蒸馏的联邦推荐方法、设备及存储介质。由于服务器无法明确控制每个客户端所拥有的数据的性质,本发明专利技术采用合作博弈论中的Shapley Values的概念来挑选客户端参与训练。利用这种有偏见的客户端选择策略,实现了在每轮选出对联邦推荐模型贡献度大的客户端组参与合作训练。在此基础上,本发明专利技术采用集成蒸馏的策略,加权集成筛选后的多个本地推荐模型来指导全局模型的训练,降低了由于各客户端的训练数据的非独立同分布对模型训练的影响,从而提高了推荐系统的性能。最后,本发明专利技术提出了数据标签纠正方法来检测并纠正损坏的客户端数据样本,从而使恢复的客户端也有机会做出贡献。

【技术实现步骤摘要】

本专利技术属于大数据,涉及一种基于合作博弈论和集成蒸馏的联邦推荐方法、设备及存储介质


技术介绍

1、推荐系统是一种信息过滤工具,旨在根据用户的兴趣、偏好和行为,为用户推荐个性化的内容或产品。它广泛应用于电子商务、社交媒体、视频和音乐平台等领域。推荐系统通过分析用户的历史行为、偏好和其他相关数据,预测用户可能感兴趣的项目,从而提升用户体验和平台收益。然而,传统推荐系统存在诸多问题,包括数据孤岛效应导致的推荐效果受限、数据隐私和安全问题带来的法律风险、冷启动和数据稀疏性问题导致的推荐准确性不足,这些问题共同影响了推荐系统的性能和用户体验。

2、联邦学习允许多个用户协作训练共享的全局模型,无需将本地客户端数据上传至中央服务器,而只需上传本地模型更新的参数。中央服务器协调多轮联邦学习过程,最终得到全局模型的更新。联邦学习减少了传统集中式机器学习方法带来的一些系统性隐私风险和成本,是解决上述问题的有效途径。

3、尽管联邦学习框架为多个参与节点协作训练共享的全局模型提供了一种有效途径,然而,参与客户端之间的数据往往呈非独立同分布,具有高度异构本文档来自技高网...

【技术保护点】

1.一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,步骤1中选择的过程为:从包含所有客户端的集合中采用循环采样方式进行选择,确保每个客户端能至少参与一轮训练。

3.根据权利要求2所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,还包括贪心地选择边际贡献靠前的客户端。

4.根据权利要求1或3所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,所述的边际贡献计算如下:

5.根据权利要求1所述的一种基于合作博弈论和集成蒸馏...

【技术特征摘要】

1.一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,步骤1中选择的过程为:从包含所有客户端的集合中采用循环采样方式进行选择,确保每个客户端能至少参与一轮训练。

3.根据权利要求2所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,还包括贪心地选择边际贡献靠前的客户端。

4.根据权利要求1或3所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,所述的边际贡献计算如下:

5.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,在步骤6中教师模型在服务器上的小批量未标记数据上进行评估,并且它们的logits输出用于训练学生模型。

6.根据权利要求1所述的一种基于合作博弈论和集成蒸馏的联邦推荐方法,其特征在于,还包括步骤七:对于一些在多轮未被选中的客户端,这些客户...

【专利技术属性】
技术研发人员:赵帅赵金宇任思琪
申请(专利权)人:浙江工商大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1