一种基于差分隐私和联邦学习的模型参数优化方法和系统技术方案

技术编号:38036704 阅读:11 留言:0更新日期:2023-06-30 11:03
本发明专利技术涉及一种基于差分隐私和联邦学习的模型参数优化方法和系统,采用传参方式替代传递原始数据方式,保障数据安全:通过差分隐私保护和联邦框架,从车端到云端的交互内容是各种参数的相互传递,而非原始轨迹数据或图像数据,极大的保证了用户隐私和数据安全;云端参数构建可个性化适配多个车端设备:通过参数交换的方式,联邦学习框架在云端实现多个终端设备的全局参数优化,参数反馈至车端后,不同车辆终端实现差异化的模型构建和多模态数据处理;对于众包高精度制作中的不同任务需求,能够同时适用于图像、轨迹两种不同模态数据的处理。处理。处理。

【技术实现步骤摘要】
一种基于差分隐私和联邦学习的模型参数优化方法和系统


[0001]本专利技术涉及智能驾驶领域,尤其涉及一种基于差分隐私和联邦学习的模型参数优化方法和系统。

技术介绍

[0002]传统众包制图已经应用到众多领域,随着软硬件技术不断发展,任意环节发展变化都将呈现多元化的地图表现形式,因此不同用户域需要通过各种采集设备和数据传感器系统收集跨域、多模态(包括图像、轨迹)地图数据。传统众包制图着重在任务分配、激励机制和开销模型等策略优化上,难以处理跨域多模态地图数据,进而无法学习和抽取足够地理信息用于构建高精地图。此外,众包制图过程中用户数据的直接传递,也带来数据合规性风险。

技术实现思路

[0003]本专利技术针对现有技术中存在的技术问题,提供一种基于差分隐私和联邦学习的模型参数优化方法和系统,通过差分隐私保护和联邦框架,从车端到云端的交互内容是各种参数的相互传递,而非原始轨迹数据或图像数据,极大的保证了用户隐私和数据安全。
[0004]本专利技术解决上述技术问题,第一方面,本专利技术实施例提供技术方案如下:一种基于差分隐私和联邦学习的模型参数优化方法,所述方法包括:
[0005]步骤S1、获取各车端采集的多模态地图数据,并基于所述多模态地图数据对预设的全局表征学习模型进行模型训练,提取训练后的所述全局表征学习模型的本地参数更新量;基于差分隐私方法在所述本地参数更新量中加入高斯噪声表征,得到差分隐私参数,并将所述差分隐私参数上传至云端;
[0006]步骤S2、云端对所述查分隐私参数进行聚合,以重构全局表征学习模型的各个模型参数的参数更新量;基于重构的各个模型参数的参数更新量进行全局表征学习模型更新,基于更新后的所述全局表征学习模型作为下一模型训练的全局表征学习模型发送至个车端。
[0007]作为优选的,所述多模态地图数据包括图像数据和轨迹数据,所述全局表征学习模型包括图像表征模型和轨迹征模型。
[0008]作为优选的,所述步骤S1中,基于差分隐私方法在所述本地参数更新量中加入高斯噪声表征,得到差分隐私参数,具体包括:
[0009]提取所述本地参数更新量的表征向量,对所述表征向量进行剪裁,对剪裁后的表征向量添加符合松弛差分隐私的高斯噪声表征。
[0010]作为优选的,所述松弛差分隐私为(∈,δ)差分隐私,其中,ε表示隐私预算,δ表示松弛项;对于算法输出的值域为若在与上任意分割结果如果满足下式:
[0011][0012]则满足(∈,δ)差分隐私;其中,表示本地参数更新量;与相差一个数据点;数据点;为表征模型;多模态地图数据x
i
为第i个车端的地图数据。
[0013]作为优选的,所述高斯噪声表征为:
[0014][0015][0016]上式中,N(0,σ2)表示均值为0,方差为σ2的高斯分布;h
n
为本地参数更新量的表征向量;C(h
n
)表示剪裁后的表征向量,U为裁剪阈值。
[0017]作为优选的,所述全局表征学习模型为:
[0018][0019][0020]上式中,x
i
为第i个车端的采样原始数据;D
i
表示第i个车端存储的数据库;[N]表示有多个车端用户;由于不同参与终端之间可能存在异构性,所存储的数据库也不同,从不同设备中提取的样本具有不同的期望值。
[0021]作为优选的,基于重构的各个模型参数的参数更新量进行全局表征学习模型更新,具体包括:
[0022]接收任一车端发回的本地训练的全局表征学习模型,通过加权平均更新全局表征学习模型:
[0023]M
t
=(1

α)M
(t
‑1)+M
new
[0024]其中,t表示全局训练周期中的第t个循环,α∈(0,1)为混合超参数,M
new
为本地训练的全局表征学习模型的本地参数更新量;
[0025]基于联邦平均算法更新全局表征学习模型。
[0026]第二方面,本专利技术实施例提供技术方案如下:一种基于差分隐私和联邦学习的模型参数优化系统,包括:
[0027]车端差分隐私保护模块,获取各车端采集的多模态地图数据,并基于所述多模态地图数据对预设的全局表征学习模型进行模型训练,提取训练后的所述全局表征学习模型的本地参数更新量;基于差分隐私方法在所述本地参数更新量中加入高斯噪声表征,得到差分隐私参数,并将所述差分隐私参数上传至云端;
[0028]云端联邦学习模块,云端对所述查分隐私参数进行聚合,以重构全局表征学习模型的各个模型参数的参数更新量;基于重构的各个模型参数的参数更新量进行全局表征学习模型更新,基于更新后的所述全局表征学习模型作为下一模型训练的全局表征学习模型发送至个车端。
[0029]第三方面,本专利技术实施例提供技术方案如下:一种电子设备,包括:
[0030]存储器,用于存储计算机软件程序;
[0031]处理器,用于读取并执行所述计算机软件程序,进而实现第一方面实施例所述的基于差分隐私和联邦学习的模型参数优化方法。
[0032]第四方面,本专利技术实施例提供技术方案如下:一种非暂态计算机可读存储介质,所述存储介质中存储有用于实现如第一方面实施例所述的基于差分隐私和联邦学习的模型参数优化方法的计算机软件程序。
[0033]本专利技术的有益效果是:采用传参方式替代传递原始数据方式,保障数据安全:通过差分隐私保护和联邦框架,从车端到云端的交互内容是各种参数的相互传递,而非原始轨迹数据或图像数据,极大的保证了用户隐私和数据安全;云端参数构建可个性化适配多个车端设备:通过参数交换的方式,联邦学习框架在云端实现多个终端设备的全局参数优化,参数反馈至车端后,不同车辆终端实现差异化的模型构建和多模态数据处理;对于众包高精度制作中的不同任务需求,能够同时适用于图像、轨迹两种不同模态数据的处理。
附图说明
[0034]图1为本专利技术实施例的基于差分隐私和联邦学习的模型参数优化方法流程图;
[0035]图2为本专利技术实施例的车端和云端模块结构图;
[0036]图3为本专利技术实施例的本地差分隐私特征数据提取框架图;
[0037]图4为本专利技术实施例的跨域多模态地图数据联邦学习框架;
[0038]图5为本专利技术提供的电子设备的实施例示意图;
[0039]图6为本专利技术提供的计算机可读存储介质的实施例示意图。
具体实施方式
[0040]以下结合附图对本专利技术的原理和特征进行描述,所举实例只用于解释本专利技术,并非用于限定本专利技术的范围。
[0041]在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种基于差分隐私和联邦学习的模型参数优化方法,其特征在于,所述方法包括:步骤S1、获取各车端采集的多模态地图数据,并基于所述多模态地图数据对预设的全局表征学习模型进行模型训练,提取训练后的所述全局表征学习模型的本地参数更新量;基于差分隐私方法在所述本地参数更新量中加入高斯噪声表征,得到差分隐私参数,并将所述差分隐私参数上传至云端;步骤S2、云端对所述查分隐私参数进行聚合,以重构全局表征学习模型的各个模型参数的参数更新量;基于重构的各个模型参数的参数更新量进行全局表征学习模型更新,基于更新后的所述全局表征学习模型作为下一模型训练的全局表征学习模型发送至个车端。2.根据权利要求1所述的基于差分隐私和联邦学习的模型参数优化方法,其特征在于,所述多模态地图数据包括图像数据和轨迹数据,所述全局表征学习模型包括图像表征模型和轨迹表征模型。3.根据权利要求2所述的基于差分隐私和联邦学习的模型参数优化方法,其特征在于,所述步骤S1中,基于差分隐私方法在所述本地参数更新量中加入高斯噪声表征,得到差分隐私参数,具体包括:提取所述本地参数更新量的表征向量,对所述表征向量进行剪裁,对剪裁后的表征向量添加符合松弛差分隐私的高斯噪声表征。4.根据权利要求3所述的基于差分隐私和联邦学习的模型参数优化方法,其特征在于,所述松弛差分隐私为(∈,δ)差分隐私,其中,ε表示隐私预算,δ表示松弛项;对于算法输出的值域为若在与上任意分割结果如果满足下式:则满足(∈,δ)差分隐私,Pr表示事件的披露风险;其中,表示本地参数更新量;与相差一个数据点;相差一个数据点;相差一个数据点;为表征模型;多模态地图数据x
i
为第i个车端的地图数据。5.根据权利要求4所述的基于差分隐私和联邦学习的模型参数优化方法,其特征在于,所述高斯噪声表征为:所述高斯噪声表征为:上式中,N(0,σ2)表示均值为0,方差为σ2的高斯分布;h
n
为本地参数更新量的表征向量;C(h
n
)表示剪裁后的表征向量,U为裁剪阈值。6.根据权利要求4所述的基于差分隐私和联邦学习的模型参数优化方法,其特征在于,所述全局表征学习模型为:所述全局表征...

【专利技术属性】
技术研发人员:潘银秦峰尹玉成张志军
申请(专利权)人:武汉中海庭数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1