一种基于无中心流式联邦学习的隐私保护方法、系统及终端技术方案

技术编号:33293337 阅读:21 留言:0更新日期:2022-05-01 00:17
本发明专利技术公开了一种基于无中心流式联邦学习的隐私保护方法、系统及终端,通过边缘节点根据本地的实时数据流进行在线学习,然后基于本地模型参数的变化自适应地决定节点间通信交互时机,在通信交互时对模型参数进行基于拉普拉斯机制的隐私保护后与相邻节点进行广播式交互共享,而非通信交互时刻不进行参数传递以降低通信开销和隐私预算。最终,达到边缘节点在隐私保护的前提下协同地对全局数据流动态的模型训练和更新。本发明专利技术在实际大规模的分布式节点协同在线机器学习的隐私保护景中有着较好的应用效果,可用于在车联网驾驶智能、移动社交和在线推荐等应用场景中的数据隐私保护场景中。保护场景中。保护场景中。

【技术实现步骤摘要】
一种基于无中心流式联邦学习的隐私保护方法、系统及终端


[0001]本专利技术属于人工智能领域,具体涉及一种基于无中心流式联邦学习的隐私保护方法、系统及终端。

技术介绍

[0002]随着大数据技术的普及和人们对隐私保护意识的不断加深,数据隐私保护已成为阻碍大数据发展的核心瓶颈之一。数据通常蕴含大量敏感信息,且隶属于不同拥有者,因而具有高度碎片化特征,最终导致当前普遍存在的数据孤岛问题。人们隐私意识的不断加深将导致数据的采集、流动和分析各环节愈加受限;数据采集与应用也受到越来越多地域法律法规的约束。因此,随着数字经济需求和以深度学习为代表的数据分析技术的的进一步发展,数据隐私保护和数据孤岛问题将更加明显,成为大数据和人工智能发展的严重障碍。
[0003]针对敏感数据中的隐私问题,基于差分隐私的隐私保护机器学习,通过为机器学习模型引入随机噪声,从而限制模型对训练数据的隐私间接泄露风险。虽然差分隐私具有严格的数学基础和灵活的实现机制,但其所支持的数据分析任务的灵活性和数据分析的效用性仍然十分有限。针对非贯通数据的共享问题,联邦学习作为一种全新的分布式机器学习范式,主要思想在于无需用户将数据上传到服务器上集中训练,而是通过多次交换模型参量或梯度等中间信息实现模型的分布式训练。虽然联邦学习可以保证原始数据不暴露和不交换的直接隐私保护,但无法保证中间参数交互中的间接隐私保护。可见,基于差分隐私保护的机器学习和联邦学习的结合是同时解决数据隐私与数据孤岛的有效途径。
[0004]现有差分隐私联邦学习中都基于云中心服务器的场景,仍需要在云服务器进行模型聚合,区别只是在于中心服务器是否可信。实际场景中,由于边缘节点往往互不隶属而形成一种平等协作的关系。此时的联邦学习将没有居中协调的云服务器,而是以Peer

to

Peer(P2P)方式形成无中心的联邦学习。由于节点间相互的隐私信任问题,仍需利用差分隐私机制对交互模型参数的保护。同时,现有的隐私保护联邦学习方法大多都是针对批次数据的静态训练,而缺乏对流式数据实时在线训练等复杂任务和场景的高效支持。例如,在车联网场景中智能汽车需要实时采集丰富的驾驶与路况信息并与临近车辆进行协同交互和智能决策,从而达成一系列路径规划、实时避障等智能驾驶功能。然而,一方面,相关的驾驶行为、车辆位置、车辆环境数据可能包含相关驾乘人员的隐私信息,需要进行实时的隐私保护;另一方面,自动驾驶实时产生的数据体量非常庞大,实时连续通信和交互会带来极大的开销或者通信延迟影响驾驶安全。

技术实现思路

[0005]本专利技术的目的在于解决现有技术中的问题,提供一种基于无中心流式联邦学习的隐私保护方法、系统及终端,能够有效解决无中心场景下针对流式数据的联邦学习中的通信开销和隐私保护问题。
[0006]为达到上述目的,本专利技术采用以下技术方案予以实现:
[0007]一种基于无中心流式联邦学习的隐私保护方法,包括:
[0008]步骤1:基于边缘节点随机初始化模型参数和边缘节点利用前一轮次的最终模型参数预测得到的本轮先验模型参数,对本地模型进行更新;
[0009]步骤2:基于本地模型参数敏感度的校准结果添加噪声向量,对更新后的本地模型参数进行隐私保护;
[0010]步骤3:每个边缘节点将各自隐私保护后的参数共享给相邻边缘节点,并同时接收所有相邻边缘节点共享的参数;
[0011]步骤4:各边缘节点根据接收的所有相邻边缘节点的参数,更新自身的模型参数,得到后验模型参数;经过若干次的更新,各边缘节点逐步收敛得到相同的模型参数;
[0012]步骤5:基于间歇性交互方式进行节点参数交互,将训练轮次分为采样轮次和非采样轮次,在采样轮次各边缘节点重复步骤1到步骤4,在非采样轮次每个节点不进行广播通信,仅执行步骤1;从第1个轮次起,各边缘节点在采样轮次根据前后两个采样轮次模型更新后的模型参数变化情况自适应地调整下一次采样轮次的间隔,降低设备间通信频率及隐私预算消耗。
[0013]本专利技术的进一步改进在于:
[0014]基于边缘节点随机初始化模型参数和边缘节点利用前一轮次的最终模型参数预测得到的本轮先验模型参数,对本地模型进行更新,具体为:
[0015]在初始时刻,边缘节点随机初始化模型参数此后,在每个训练轮次每个时刻t,边缘节点其利用前一轮次t

1的模型参数预测本轮的先验模型参数,计算即时的损失函数值并利用梯度下降方法更新本地模型参数。
[0016]基于本地模型参数敏感度的校准结果添加噪声向量,对更新后的本地模型参数进行隐私保护,具体为:
[0017]估计模型参数的梯度上界,并根据梯度上界计算模型参数的敏感度,并依据敏感度添加满足特定差分隐私级别的噪声向量,对更新后的本地模型参数进行隐私保护,即
[0018][0019]其中,为时刻t的本地模型参数,为基于模型参数敏感度校准的隐私预算满足∈
t

差分隐私的噪声向量,噪声形态为拉普拉斯噪声或者高斯噪声。
[0020]每个边缘节点将各自隐私保护后的参数共享给相邻边缘节点,并同时接收所有相邻边缘节点共享的参数,具体为:
[0021]各边缘节点将各自隐私保护后的参数通过广播方式共享给其所有的相邻节点N
j
,并同时接收其邻居节点共享的参数。
[0022]各边缘节点根据接收的所有相邻边缘节点的参数,更新自身的模型参数,得到后验模型参数;经过若干次的更新,各边缘节点逐步收敛得到相同的模型参数,具体为:
[0023]边缘节点i在接收到所有相邻边缘节点的参数,根据所有接收到的参数协同更新自身的模型参数,得到后验模型参数
[0024][0025]其中,a
ij
为邻接矩阵A=[a
ij
],i,j=1,

,N的参数;
[0026]通过若干轮次的协同训练后,各个边缘节点通过不断的迭代和交互,融合得到一致的模型参数。
[0027]基于间歇性交互方式将训练轮次分为采样轮次和非采样轮次,在采样轮次各边缘节点重复步骤1到步骤4,在非采样轮次每个节点不进行广播通信,仅执行步骤1;从第1个轮次起,各边缘节点在采样轮次根据前后两个采样轮次模型更新后的模型参数变化情况自适应地调整下一次采样轮次的间隔,降低设备间通信频率及隐私预算消耗,具体为:
[0028]初始时,对于第一个时刻t=1进行隐私保护,初始采样间隔设置为I=1,对每个时刻t
n
计算采样间隔,其中n代表第n个采样时刻,根据先验估计和后验结果计算反馈误差来衡量数据的变化情况,
[0029][0030]其中,非采样点没有定义误差;
[0031]根据该误差通过PID控制来计算控制增益,
[0032][0033]其中,C
p
,C
i
,C
d
分别为比例、积分和微分控制增益,均为正值,且三者之本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于无中心流式联邦学习的隐私保护方法,其特征在于,包括:步骤1:基于边缘节点随机初始化模型参数和边缘节点利用前一轮次的最终模型参数预测得到的本轮先验模型参数,对本地模型进行更新;步骤2:基于本地模型参数敏感度的校准结果添加噪声向量,对更新后的本地模型参数进行隐私保护;步骤3:每个边缘节点将各自隐私保护后的参数共享给相邻边缘节点,并同时接收所有相邻边缘节点共享的参数;步骤4:各边缘节点根据接收的所有相邻边缘节点的参数,更新自身的模型参数,得到后验模型参数;经过若干次的更新,各边缘节点逐步收敛得到相同的模型参数;步骤5:基于间歇性交互方式进行节点参数交互,将训练轮次分为采样轮次和非采样轮次,在采样轮次各边缘节点重复步骤1到步骤4,在非采样轮次每个节点不进行广播通信,仅执行步骤1;从第1个轮次起,各边缘节点在采样轮次根据前后两个采样轮次模型更新后的模型参数变化情况自适应地调整下一次采样轮次的间隔,降低设备间通信频率及隐私预算消耗。2.根据权利要求1所述的基于无中心流式联邦学习的隐私保护方法,其特征在于,所述基于边缘节点随机初始化模型参数和边缘节点利用前一轮次的最终模型参数预测得到的本轮先验模型参数,对本地模型进行更新,具体为:在初始时刻,边缘节点随机初始化模型参数此后,在每个训练轮次每个时刻t,边缘节点其利用前一轮次t

1的模型参数预测本轮的先验模型参数,计算即时的损失函数值并利用梯度下降方法更新本地模型参数。3.根据权利要求1所述的基于无中心流式联邦学习的隐私保护方法,其特征在于,所述基于本地模型参数敏感度的校准结果添加噪声向量,对更新后的本地模型参数进行隐私保护,具体为:估计模型参数的梯度上界,并根据梯度上界计算模型参数的敏感度,并依据敏感度添加满足特定差分隐私级别的噪声向量,对更新后的本地模型参数进行隐私保护,即其中,为时刻t的本地模型参数,为基于模型参数敏感度校准的隐私预算满足∈
t

差分隐私的噪声向量,噪声形态为拉普拉斯噪声或者高斯噪声。4.根据权利要求1所述的基于无中心流式联邦学习的隐私保护方法,其特征在于,所述每个边缘节点将各自隐私保护后的参数共享给相邻边缘节点,并同时接收所有相邻边缘节点共享的参数,具体为:各边缘节点将各自隐私保护后的参数通过广播方式共享给其所有的相邻节点N
j
,并同时接收其邻居节点共享的参数。5.根据权利要求1所述的基于无中心流式联邦学习的隐私保护方法,其特征在于,所述各边缘节点根据接收的所有相邻边缘节点的参数,更新自身的模型参数,得到后验模型参数;经过若干次的更新,各边缘节点逐步收敛得到相同的模型参数,具体为:边缘节点i在接收到所有相邻边缘节点的参数,根据所有接收到的参数协同更新自身
的模型参数,得到后验模型参数其中,a
i...

【专利技术属性】
技术研发人员:杨树森任雪斌赵鹏
申请(专利权)人:杭州卷积云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1