【技术实现步骤摘要】
一种基于无中心流式联邦学习的隐私保护方法、系统及终端
[0001]本专利技术属于人工智能领域,具体涉及一种基于无中心流式联邦学习的隐私保护方法、系统及终端。
技术介绍
[0002]随着大数据技术的普及和人们对隐私保护意识的不断加深,数据隐私保护已成为阻碍大数据发展的核心瓶颈之一。数据通常蕴含大量敏感信息,且隶属于不同拥有者,因而具有高度碎片化特征,最终导致当前普遍存在的数据孤岛问题。人们隐私意识的不断加深将导致数据的采集、流动和分析各环节愈加受限;数据采集与应用也受到越来越多地域法律法规的约束。因此,随着数字经济需求和以深度学习为代表的数据分析技术的的进一步发展,数据隐私保护和数据孤岛问题将更加明显,成为大数据和人工智能发展的严重障碍。
[0003]针对敏感数据中的隐私问题,基于差分隐私的隐私保护机器学习,通过为机器学习模型引入随机噪声,从而限制模型对训练数据的隐私间接泄露风险。虽然差分隐私具有严格的数学基础和灵活的实现机制,但其所支持的数据分析任务的灵活性和数据分析的效用性仍然十分有限。针对非贯通数据的共享问题,联邦学习作为一种全新的分布式机器学习范式,主要思想在于无需用户将数据上传到服务器上集中训练,而是通过多次交换模型参量或梯度等中间信息实现模型的分布式训练。虽然联邦学习可以保证原始数据不暴露和不交换的直接隐私保护,但无法保证中间参数交互中的间接隐私保护。可见,基于差分隐私保护的机器学习和联邦学习的结合是同时解决数据隐私与数据孤岛的有效途径。
[0004]现有差分隐私联邦学习中都基于云中心服务器 ...
【技术保护点】
【技术特征摘要】
1.一种基于无中心流式联邦学习的隐私保护方法,其特征在于,包括:步骤1:基于边缘节点随机初始化模型参数和边缘节点利用前一轮次的最终模型参数预测得到的本轮先验模型参数,对本地模型进行更新;步骤2:基于本地模型参数敏感度的校准结果添加噪声向量,对更新后的本地模型参数进行隐私保护;步骤3:每个边缘节点将各自隐私保护后的参数共享给相邻边缘节点,并同时接收所有相邻边缘节点共享的参数;步骤4:各边缘节点根据接收的所有相邻边缘节点的参数,更新自身的模型参数,得到后验模型参数;经过若干次的更新,各边缘节点逐步收敛得到相同的模型参数;步骤5:基于间歇性交互方式进行节点参数交互,将训练轮次分为采样轮次和非采样轮次,在采样轮次各边缘节点重复步骤1到步骤4,在非采样轮次每个节点不进行广播通信,仅执行步骤1;从第1个轮次起,各边缘节点在采样轮次根据前后两个采样轮次模型更新后的模型参数变化情况自适应地调整下一次采样轮次的间隔,降低设备间通信频率及隐私预算消耗。2.根据权利要求1所述的基于无中心流式联邦学习的隐私保护方法,其特征在于,所述基于边缘节点随机初始化模型参数和边缘节点利用前一轮次的最终模型参数预测得到的本轮先验模型参数,对本地模型进行更新,具体为:在初始时刻,边缘节点随机初始化模型参数此后,在每个训练轮次每个时刻t,边缘节点其利用前一轮次t
‑
1的模型参数预测本轮的先验模型参数,计算即时的损失函数值并利用梯度下降方法更新本地模型参数。3.根据权利要求1所述的基于无中心流式联邦学习的隐私保护方法,其特征在于,所述基于本地模型参数敏感度的校准结果添加噪声向量,对更新后的本地模型参数进行隐私保护,具体为:估计模型参数的梯度上界,并根据梯度上界计算模型参数的敏感度,并依据敏感度添加满足特定差分隐私级别的噪声向量,对更新后的本地模型参数进行隐私保护,即其中,为时刻t的本地模型参数,为基于模型参数敏感度校准的隐私预算满足∈
t
‑
差分隐私的噪声向量,噪声形态为拉普拉斯噪声或者高斯噪声。4.根据权利要求1所述的基于无中心流式联邦学习的隐私保护方法,其特征在于,所述每个边缘节点将各自隐私保护后的参数共享给相邻边缘节点,并同时接收所有相邻边缘节点共享的参数,具体为:各边缘节点将各自隐私保护后的参数通过广播方式共享给其所有的相邻节点N
j
,并同时接收其邻居节点共享的参数。5.根据权利要求1所述的基于无中心流式联邦学习的隐私保护方法,其特征在于,所述各边缘节点根据接收的所有相邻边缘节点的参数,更新自身的模型参数,得到后验模型参数;经过若干次的更新,各边缘节点逐步收敛得到相同的模型参数,具体为:边缘节点i在接收到所有相邻边缘节点的参数,根据所有接收到的参数协同更新自身
的模型参数,得到后验模型参数其中,a
i...
【专利技术属性】
技术研发人员:杨树森,任雪斌,赵鹏,
申请(专利权)人:杭州卷积云科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。