System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于联邦学习的隐私保护区域交通流量预测方法及系统技术方案_技高网

基于联邦学习的隐私保护区域交通流量预测方法及系统技术方案

技术编号:40284841 阅读:8 留言:0更新日期:2024-02-07 20:37
本发明专利技术涉及一种基于联邦学习的隐私保护区域交通流量预测方法及系统,其特征在于,所述方法包括以下步骤:步骤1,采集区域交通流量预测需求,并针对所述预测需求构建初始预测模型;步骤2,采集区域内所有车辆的GPS轨迹数据并针对所述数据进行车辆去重,针对去重后的数据采用联邦学习算法对所述初始预测模型进行训练;其中,所述训练基于每个参与方的交叉评价结果进行投票,并基于投票结果获得当前梯度的权重系数;步骤3,基于训练后获得的预测模型对所述预测需求进行预测,并通过同态加密对预测结果进行加密后回传给生成所述预测需求的移动终端。本发明专利技术提升了全局模型鲁棒性,各LSP在不泄露运营数据的情况下实现了更准确的流量预测。

【技术实现步骤摘要】

本专利技术涉及智能预测领域,更具体的,涉及一种基于联邦学习的隐私保护区域交通流量预测方法及系统


技术介绍

1、目前,随着城市中行驶的车辆都逐渐在以不同的方式接入互联网,各方车辆营运机构都开始具备获取旗下车辆实时位置的能力。例如,在地方运营的计程车、货运车辆、租赁车辆等独立企业,或以智能汽车为代表的汽车制造企业自有运营的位置服务提供商,以及私家车个人手机导航服务商、网约车服务商等等,他们均具备获取其各自运营旗下的车辆实时位置服务。

2、但由于这些企业实体之间存在着隐私保护问题,这些位置服务信息是不能进行直接的数据共享的。能否训练出符合实际的交通流量预测模型,除模型本身的结构外,对用于训练的数据集,一般来说数据量越多、覆盖面越广,训练后的模型将越准确。然而,想要将无法共享的数据内容合并形成一个数据覆盖面更广泛的数据集用于模型的训练在实际应用中是十分困难的。

3、联邦机器学习(federated machine learning/federated learning),又名联邦学习,联合学习,联盟学习。联邦机器学习是一个机器学习框架,能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下,进行数据使用和机器学习建模。联邦学习定义了机器学习框架,在此框架下通过设计虚拟模型解决不同数据拥有方在不交换数据的情况下进行协作的问题。虚拟模型是各方将数据聚合在一起的最优模型,各自区域依据模型为本地目标服务。联邦学习要求此建模结果应当无限接近传统模式,即将多个数据拥有方的数据汇聚到一处进行建模的结果。在联邦机制下,各参与者的身份和地位相同,可建立共享数据策略。由于数据不发生转移,因此不会泄露用户隐私或影响数据规范。

4、然而,现有技术中尚不存在这种联邦机器学习应用至区域交通流量预测模型的建设中。另外,如果简单的将联邦机器学习应用至区域交通流量预测模型中,会衍生出各类问题。具体问题如下:

5、1、车辆数据的去重问题。由于目前车辆实时位置接入网络的途径多种多样,例如,网约车司机在工作时,智能汽车的车载系统服务(位置服务提供商m)与网约车服务(位置服务提供商n)会同时上传车辆的实时位置信息。对于联邦学习的联合训练实体,位置服务提供商m与位置服务提供商n在该车辆的数据训练,从全局模型角度而言出现了重复训练的情况,这将会引发模型失真问题。同理,在预测阶段也存在了重复性问题。

6、2、部分参与训练的节点背叛或异常导致的损害全局模型的问题。为了获得广泛的数据集,提升模型的准确性,模型鼓励各种位置服务提供商参与模型的共同训练,但这也增加了存在恶意的服务商有意破坏全局模型的风险。

7、针对上述问题,亟需一种基于联邦学习的区域交通流量预测模型。


技术实现思路

1、为解决现有技术中存在的不足,本专利技术提供一种设计、实施和评估了一个方案,构建基于联邦学习的隐私保护区域交通流量预测系统,系统采用中心部署架构,由联邦中央服务器协调各个位置服务提供商(lsp)联合完成模型的训练,并对全局模型进行梯度聚合与模型更新;采用交叉评价加权聚合的策略防御部分不可信节点对全局模型的恶意攻击,提升了全局模型的鲁棒性;预测阶段使用同态加密聚合算法,各lsp在不泄露自身运营数据的情况下实现了更准确的流量预测。

2、本专利技术采用如下的技术方案。

3、本专利技术第一方面,涉及一种基于联邦学习的隐私保护区域交通流量预测方法,方法包括以下步骤:

4、步骤1,采集区域交通流量预测需求,并针对所述预测需求构建初始预测模型;

5、步骤2,采集区域内所有车辆的gps轨迹数据并针对所述数据进行车辆去重,针对去重后的数据采用联邦学习算法对所述初始预测模型进行训练;其中,所述训练基于每个参与方的交叉评价结果进行投票,并基于投票结果获得当前梯度的权重系数;

6、步骤3,基于训练后获得的预测模型对所述预测需求进行预测,并通过同态加密对预测结果进行加密后回传给生成所述预测需求的移动终端。

7、优选的,预测需求至少包括移动终端的标识信息、期望时间和预测区域范围。

8、优选的,位置服务提供商向联邦中央服务器申请统一提供的salt字符串,以对gps轨迹数据中的主键信息字段分别进行加盐哈希运算,从而获得车辆的指纹组。

9、优选的,位置服务提供商将车辆的指纹组与期望的训练时间区间同时提交至联邦中央服务器;联邦中央服务器对于所述指纹组中的指纹信息进行重复性查询,若产生冲突,则执行去重协调。

10、优选的,针对去重后的数据采用联邦学习算法对所述初始预测模型进行训练还包括:联邦中心服务器以所述初始预测模型作为全局模型,并将全局模型参数下发给每一个位置服务提供商,以生成本地模型;位置服务提供商基于本地车辆数据对所述本地模型训练,从而生成梯度信息;位置服务提供商将所述梯度信息回传给所述联邦中心服务器,并由所述联邦中心服务器触发交叉评价以获得权重系数;所述联邦中心服务器根据每一个位置服务提供商的所述梯度信息和所述权重系数更新全局模型。

11、优选的,训练基于每个参与方的交叉评价结果进行投票,并基于投票结果获得当前梯度的权重系数还包括:对于任意一次的全局模型更新,联邦中央服务器将获得来自各参与方回传的梯度信息,联邦中央服务器保留更新前的全局模型m0,并使用当前位置服务提供商回传的梯度信息fn更新全局模型m0以得到新模型ma;联邦中央服务器将m0与ma下发给其他位置服务提供商,其他位置服务提供商接收到两个模型后,使用各自本地的起始于上一次全局模型更新期间的数据带入两个模型中,并使用rmse指标进行前后模型的比较;若评价结果ma模型优于m0模型,则标记为优秀,反之标记为不良;其他各位置服务提供商评价后将评价结果回传给联邦中央服务器,联邦中央服务器根据投票结果调整对位置服务提供商的所提供的梯度信息fn的权重系数wn。

12、优选的,跟踪每一个参与方的评价结果,并构造针对每一个参与方的曲线函数

13、

14、其中,z为该参与方的评价得分,且为整数类型;k与h为常量系数,k影响函数溢出空间,h影响z的宽松度;

15、对于曲线函数进行求解,当其取值范围超过设定阈值时,判定当前参与方为不可信节点。

16、优选的,当前位置服务提供商整合下属所有移动终端的预测需求,随机创建一对用于同态加密的运算的非对称秘钥pk与sk,并将整合后的需求信息与pk递交至联邦中央服务器;联邦中央服务器将整合后的需求信息与pk广播至参与方,参与方利用预测模型进行预测,并将预测结果密文z密回传给联邦中央服务器;联邦中央服务器得到各个参与方回传的z密后使用同态加法运算完成聚合运算,返回给当前位置服务提供商,当前位置服务提供商得到z密后使用sk完成解密,缓存并下发至需求提出的移动终端。

17、优选的,参与方基于需求中的区域范围确定是否包括某个位置服务提供商。

18、本专利技术第二方面,涉及一种利用本专利技术第一本文档来自技高网...

【技术保护点】

1.一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

3.根据权利要求1所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

4.根据权利要求3所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

5.根据权利要求1所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

6.根据权利要求5所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

7.根据权利要求5所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

8.根据权利要求1所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

9.根据权利要求7或8所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

10.一种利用权利要求1-9任一项权利要求所述方法的基于联邦学习的隐私保护区域交通流量预测系统,其特征在于

...

【技术特征摘要】

1.一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

3.根据权利要求1所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

4.根据权利要求3所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

5.根据权利要求1所述的一种基于联邦学习的隐私保护区域交通流量预测方法,其特征在于:

6.根...

【专利技术属性】
技术研发人员:栗维勋孙广辉汪明栗会峰王亚军袁龙马斌杨立波卢楷王琛马力崔亮亮任浩佟志鑫冯思博
申请(专利权)人:国网河北省电力有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1