多源异构数据的管理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:43334758 阅读:16 留言:0更新日期:2024-11-15 20:31
本发明专利技术提供一种多源异构数据的管理方法、装置、电子设备及计算机可读存储介质,涉及区块链及数据处理技术领域。数据管理方法包括:获取各个设备的多源异构数据;基于分区数据湖对所述多源异构数据进行处理及分析,得到分析数据;对所述分析数据进行扩展,得到内部分析数据和外部分析数据,并将所述内部分析数据和外部分析数据倾倒至所述分区数据湖中;在所述分区数据湖中构建目标区块链。以至少解决相关技术中存在的基础设施资源以及带宽的消耗大,数据存储和管理时间成本高,且无法考虑和呈现数据多维、动态和时空相关的特性,不便于后续数据检索以及决策的问题。适应于数据分析处理场景。

【技术实现步骤摘要】

本专利技术涉及区块链及数据处理,尤其涉及一种多源异构数据的管理方法、装置、电子设备及计算机可读存储介质。


技术介绍

1、随着物联网设备数量的快速增加,各种传感器、智能设备和机器相互连接,现代化企业和组织在各种业务场景中集成了多种数据来源,包括内部系统、外部数据源以及设备自身生成的数据,设备数据通常来自不同的制造商,采用不同的通信协议和数据格式,因此,多源异构数据的生成和利用变得更加普遍。其中,内部系统如erp(enterpriseresource planning,企业资源计划)、crm(customer relationship management,客户关系管理)。

2、目前,设备的数据存储及管理的方式通常以数据库存储和管理为主。然而,由于多源异构数据具有数据量大、数据类型多、增长速度快和需要即时处理的特性,使用数据库存储和管理多源异构数据,会造成基础设施资源以及带宽的消耗大,数据存储和管理时间成本高,且使用数据库存储和管理多源异构数据,无法考虑和呈现数据多维、动态和时空相关的特性,不便于后续数据检索以及决策。另外,使用数据库整合数据类型不本文档来自技高网...

【技术保护点】

1.一种多源异构数据的管理方法,其特征在于,包括:

2.根据权利要求1所述的多源异构数据的管理方法,其特征在于,所述获取各个设备的多源异构数据,具体包括:

3.根据权利要求1所述的多源异构数据的管理方法,其特征在于,在所述获取各个设备的多源异构数据之后,以及,在所述基于分区数据湖对所述多源异构数据进行处理及分析,得到分析数据之前,还包括:

4.根据权利要求1所述的多源异构数据的管理方法,其特征在于,所述分析数据包括提取数据、标准化格式数据、数据报告和安全数据报告,

5.根据权利要求1所述的多源异构数据的管理方法,其特征在于,所述对所述分析数...

【技术特征摘要】

1.一种多源异构数据的管理方法,其特征在于,包括:

2.根据权利要求1所述的多源异构数据的管理方法,其特征在于,所述获取各个设备的多源异构数据,具体包括:

3.根据权利要求1所述的多源异构数据的管理方法,其特征在于,在所述获取各个设备的多源异构数据之后,以及,在所述基于分区数据湖对所述多源异构数据进行处理及分析,得到分析数据之前,还包括:

4.根据权利要求1所述的多源异构数据的管理方法,其特征在于,所述分析数据包括提取数据、标准化格式数据、数据报告和安全数据报告,

5.根据权利要求1所述的多源异构数据的管理方法,其特征在于,所述对所述分析数据进行扩展,得到内部分析数据和外部分析数据,具体包括:

6.根据权利要求1所述的多源异构数据的管理方法,其特征在于,所述内部分析...

【专利技术属性】
技术研发人员:许毅鹏熊吉昌万刚马剑光黄易君成
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1