一种基于联邦学习的多源异构大数据采集处理方法技术

技术编号:45013622 阅读:16 留言:0更新日期:2025-04-18 16:58
本发明专利技术公开了一种基于联邦学习的多源异构大数据采集处理方法,属于数据管理技术领域,包括搭建交通系统物联网设备数据采集模块与数据传输模块,实时采集交通系统数据,在数据传输网络中设置本地数据存储和处理模块接收、处理和存储实时采集的交通系统数据;并对对本地数据进行训练,获得本地优化模型;将训练后的本地优化模型参数上传至服务器,服务器基于初始化全局优化模型和接收的各本地优化模型参数获得聚合模型,并将聚合模型下发至各交通系统物联网设备;各交通物联网设备基于聚合模型对交通系统数据进行实时监测分析,获取交通系统中异常信息类型,针对不同异常制定个物联网终端所对应系统的相对应响应策略。

【技术实现步骤摘要】

本申请涉及数据管理,尤其涉及一种基于联邦学习的多源异构大数据采集处理方法、装置及计算机可读存储介质。


技术介绍

1、随着计算机技术的发展和广泛应用,物联网设备在智能教育、医疗健康、智慧城市、智能家居、智能交通等方面发挥重要作用,其中智能交通中海量物联网设备连接到计算机网络依赖于多种类型传感器和智能设备所采集多种数据,然而,智慧交通的数据整合、分析、隐私性仍面临诸多挑战,如数据采集类型不一致、时间未对齐、数据质量差、数据管理效率低等,包括但不限于一下几个方面,数据隐私性差:在交通应用场景中,物联网设备通过不同类型采集装置搜集个人、企业或地理环境数据,导致数据对采集对象隐私性公开较大,且监管程度较难;数据可用性差:不同系统会有多个设备和下位系统构成,例如驾驶员管理系统、车辆系统、交通系统、天气系统等,不同系统的数据标准、存储方式不一致,导致数据的集成和分析困难,且数据的准确性、完整性、一致性较差,导致数据分析的可靠性不高;另一方面,数据处理方面,由于多源异构条件下产生的多模态数据参与模型训练,导致数据在机器学习应用受限,可能存在恶意数据,导致数据处理性能下降,本文档来自技高网...

【技术保护点】

1.一种基于联邦学习的多源异构大数据采集处理方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤S1具体为:

3.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤S2具体为:

4.根据权利要求3所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述机器学习算法为神经网络优化算法。

5.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤S3具体为:

6.根据权利要求5所述的基于联邦学...

【技术特征摘要】

1.一种基于联邦学习的多源异构大数据采集处理方法,其特征在于,该方法包括以下步骤:

2.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤s1具体为:

3.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤s2具体为:

4.根据权利要求3所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述机器学习算法为神经网络优化算法。

5.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤s3具体为:

6.根据权利要求5所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤s315还包括,同时获取各物联网终端采集数据的相似性,根据相似性结果划分簇,在划分过程中基于最大...

【专利技术属性】
技术研发人员:王细薇李志龙卓庆辉娄俊亮
申请(专利权)人:河南知更鸟信息科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1