【技术实现步骤摘要】
本申请涉及数据管理,尤其涉及一种基于联邦学习的多源异构大数据采集处理方法、装置及计算机可读存储介质。
技术介绍
1、随着计算机技术的发展和广泛应用,物联网设备在智能教育、医疗健康、智慧城市、智能家居、智能交通等方面发挥重要作用,其中智能交通中海量物联网设备连接到计算机网络依赖于多种类型传感器和智能设备所采集多种数据,然而,智慧交通的数据整合、分析、隐私性仍面临诸多挑战,如数据采集类型不一致、时间未对齐、数据质量差、数据管理效率低等,包括但不限于一下几个方面,数据隐私性差:在交通应用场景中,物联网设备通过不同类型采集装置搜集个人、企业或地理环境数据,导致数据对采集对象隐私性公开较大,且监管程度较难;数据可用性差:不同系统会有多个设备和下位系统构成,例如驾驶员管理系统、车辆系统、交通系统、天气系统等,不同系统的数据标准、存储方式不一致,导致数据的集成和分析困难,且数据的准确性、完整性、一致性较差,导致数据分析的可靠性不高;另一方面,数据处理方面,由于多源异构条件下产生的多模态数据参与模型训练,导致数据在机器学习应用受限,可能存在恶意数据,导
...【技术保护点】
1.一种基于联邦学习的多源异构大数据采集处理方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤S1具体为:
3.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤S2具体为:
4.根据权利要求3所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述机器学习算法为神经网络优化算法。
5.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤S3具体为:
6.根据权利要
...【技术特征摘要】
1.一种基于联邦学习的多源异构大数据采集处理方法,其特征在于,该方法包括以下步骤:
2.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤s1具体为:
3.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤s2具体为:
4.根据权利要求3所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述机器学习算法为神经网络优化算法。
5.根据权利要求1所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤s3具体为:
6.根据权利要求5所述的基于联邦学习的多源异构大数据采集处理方法,其特征在于,所述步骤s315还包括,同时获取各物联网终端采集数据的相似性,根据相似性结果划分簇,在划分过程中基于最大...
【专利技术属性】
技术研发人员:王细薇,李志龙,卓庆辉,娄俊亮,
申请(专利权)人:河南知更鸟信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。