用于联合学习中的高效通信的双向压缩和隐私制造技术

技术编号:40868234 阅读:14 留言:0更新日期:2024-04-08 16:34
本公开的某些方面提供了用于执行联合学习的技术,其包括:从联合学习服务器接收全局模型;基于该全局模型和本地数据来确定经更新模型;以及使用相对熵译码将该经更新模型发送给该联合学习服务器。

【技术实现步骤摘要】
【国外来华专利技术】


技术介绍


技术实现思路

【技术保护点】

1.一种计算机实现的方法,包括:

2.如权利要求1所述的方法,其中使用相对熵译码将所述经更新模型发送给所述联合学习服务器包括:

3.如权利要求2所述的方法,其中使用相对熵译码将所述经更新模型发送给所述联合学习服务器进一步包括:

4.如权利要求3所述的方法,其中根据所述随机种子从所述第一概率分布确定所述多个随机样本是基于所述第一概率分布和所述第二概率分布之间的差异来执行的。

5.如权利要求3所述的方法,其中:

6.如权利要求3所述的方法,其中所述多个随机样本与所述全局模型的多个参数相关联。

7.如权利要求3所述的方法,...

【技术特征摘要】
【国外来华专利技术】

1.一种计算机实现的方法,包括:

2.如权利要求1所述的方法,其中使用相对熵译码将所述经更新模型发送给所述联合学习服务器包括:

3.如权利要求2所述的方法,其中使用相对熵译码将所述经更新模型发送给所述联合学习服务器进一步包括:

4.如权利要求3所述的方法,其中根据所述随机种子从所述第一概率分布确定所述多个随机样本是基于所述第一概率分布和所述第二概率分布之间的差异来执行的。

5.如权利要求3所述的方法,其中:

6.如权利要求3所述的方法,其中所述多个随机样本与所述全局模型的多个参数相关联。

7.如权利要求3所述的方法,其中所述多个随机样本与所述全局模型的层相关联。

8.如权利要求3所述的方法,其中所述多个随机样本与所述全局模型的参数子集相关联。

9.如权利要求3所述的方法,进一步包括:

10.如权利要求9所述的方法,其中对所述经更新模型进行裁剪包括对所述经更新模型的范数进行裁剪。

11.如权利要求1所述的方法,其中基于所述全局模型和本地数据确定所述经更新模型包括:使用所述本地数据对所述全局模型执行梯度下降。

12.如权利要求3所述的方法,其中确定所述随机种子包括从所述联合学习服务器接收...

【专利技术属性】
技术研发人员:M·雷瑟A·特莱斯辛C·路易索斯
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1