大数据管理方法、系统、电子设备及存储介质技术方案

本申请公开了一种大数据管理方法、系统、电子设备及存储介质。其中，大数据管理系统，包括：数据集成模块，用于获取多个数据源中各数据源的业务数据；数据存储模块，部署有数据资产中心，数据存储模块用于根据各数据源的业务数据的数据类型，将各数据源的业务数据整合后存储到分布式存储空间中，数据资产中心基于分布式存储空间中的业务数据构建数据资产；数据计算模块，部署有多个数据计算引擎，用于根据用户需求，调用对应的数据计算引擎对数据资产进行处理，以为用户提供数据服务。本申请实施例，通过数据集成、数据存储、数据计算，可以为用户提供多种数据应用服务，具有可靠性高、安全性高、容错能力强且易用的业务数据整合能力。力。力。

【技术实现步骤摘要】
大数据管理方法、系统、电子设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种大数据管理方法、系统、电子设备及存储介质。

技术介绍

[0002]相关技术中，企业的各种信息系统大多是独立采购或者独立建设的，无法做到信息的互联互通，导致企业内部形成多个数据孤岛。互联网、移动互联网的发展带来很多新的业务模式，产生的数据与传统模式下的数据无法互通，进一步加剧了数据孤岛问题。分散在各个孤岛的数据无法很好地支撑企业的经营决策也无法很好地应对快速变化的业务需求。

技术实现思路

[0003]鉴于现有技术中的上述缺陷或不足，期望提供一种大数据管理方法、系统、电子设备及存储介质，通过数据集成、数据存储、数据计算，可以为用户提供多种数据应用服务，具有可靠性高、安全性高、容错能力强且易用的业务数据整合能力。
[0004]第一方面，本申请实施例提供了一种大数据管理系统，包括：
[0005]数据集成模块，用于获取多个数据源中各数据源的业务数据；
[0006]数据存储模块，所述数据存储模块中部署有数据资产中心，所述数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据管理系统，其特征在于，包括：数据集成模块，用于获取多个数据源中各数据源的业务数据；数据存储模块，所述数据存储模块中部署有数据资产中心，所述数据存储模块用于根据所述各数据源的业务数据的数据类型，将所述各数据源的业务数据整合后存储到分布式存储空间中，所述数据资产中心基于所述分布式存储空间中的业务数据构建数据资产；数据计算模块，所述数据计算模块部署有多个数据计算引擎，用于根据用户需求，调用对应的数据计算引擎对所述数据资产进行处理，以为用户提供数据服务。2.根据权利要求1所述的大数据管理系统，其特征在于，所述业务数据的数据类型包括结构化业务数据、半结构化业务数据和非结构化业务数据，所述数据集成模块利用可视化数据集成与同步工具获取多个数据源中各数据源的结构化业务数据和半结构化业务数据，所述数据集成模块利用网络爬虫获取多个数据源中各数据源的非结构化业务数据。3.根据权利要求1或2所述的大数据管理系统，其特征在于，所述数据存储模块的分布式存储空间包括分布式文件系统HDFS和分布式文件系统Ceph，所述数据资产中心基于所述分布式文件系统HDFS和分布式文件系统Ceph构建数据湖，其中，所述数据湖为所述数据资产的一部分。4.根据权利要求3所述的大数据管理系统，其特征在于，所述数据存储模块中还部署有数据仓库，所述数据仓库是基于数据模型和...

【专利技术属性】
技术研发人员：许蕾，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：