一种面向全数据形态开放共享的数据湖系统技术方案

本发明专利技术公开了一种面向全数据形态开放共享的数据湖系统，包括：数据生产者平台层、中间层和消费者平台层；其中，中间层包括数据集成模块、数据存储模块和数据开放模块；数据生产者平台层由一种或多种异构数据库组成；数据集成模块用于从数据生产者平台层中自动获取数据，并将获取的数据集成到数据存储模块的离线数据湖和实时数据湖中进行存储；数据开放模块用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将数据存储模块中存储的数据开放给消费者平台层；消费者平台层用于与消费者终端进行数据交互。本发明专利技术能够提供一种面向全数据形态开放共享的数据湖系统，支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放。

【技术实现步骤摘要】
一种面向全数据形态开放共享的数据湖系统
本专利技术涉及信息
，具体涉及一种面向全数据形态开放共享的数据湖系统。
技术介绍
随着信息技术的高速发展，越来越多的企业开始部署相应的信息系统，一个企业的信息系统可能会同时存在多个子系统，不同企业和不同平台的信息系统形态也不一样。在对现有技术的研究与实践过程中，本专利技术的专利技术人发现，缺乏一种支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放的数据湖系统，能够解决因大数据缺乏深度汇聚导致数据创新乏力及缺少亮点数据应用的问题。
技术实现思路
本专利技术实施例所要解决的技术问题在于，提供一种面向全数据形态开放共享的数据湖系统，能够支持跨组织、跨部门、跨行业汇聚数据和支持全数据形态共享开放。为解决上述问题，本专利技术的一个实施例提供一种面向全数据形态开放共享的数据湖系统，包括：数据生产者平台层、中间层和消费者平台层；其中，所述中间层包括数据集成模块、数据存储模块和数据开放模块；所述数据生产者平台层由一种或多种异构数据库组成；所述数据集成模块，用于从所述数据生产者平台层中自动获取数据，并将获取的所述数据集成到所述数据存储模块的离线数据湖和本文档来自技高网...

【技术保护点】
1.一种面向全数据形态开放共享的数据湖系统，其特征在于，包括:数据生产者平台层、中间层和消费者平台层；其中，所述中间层包括数据集成模块、数据存储模块和数据开放模块；所述数据生产者平台层由一种或多种异构数据库组成；所述数据集成模块，用于从所述数据生产者平台层中自动获取数据，并将获取的所述数据集成到所述数据存储模块的离线数据湖和实时数据湖中进行存储；所述数据开放模块用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将所述数据存储模块中存储的数据开放给所述消费者平台层；所述消费者平台层，用于与消费者终端进行数据交互。

【技术特征摘要】
1.一种面向全数据形态开放共享的数据湖系统，其特征在于，包括:数据生产者平台层、中间层和消费者平台层；其中，所述中间层包括数据集成模块、数据存储模块和数据开放模块；所述数据生产者平台层由一种或多种异构数据库组成；所述数据集成模块，用于从所述数据生产者平台层中自动获取数据，并将获取的所述数据集成到所述数据存储模块的离线数据湖和实时数据湖中进行存储；所述数据开放模块用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将所述数据存储模块中存储的数据开放给所述消费者平台层；所述消费者平台层，用于与消费者终端进行数据交互。2.根据权利要求1所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述中间层还包括数据管理模块；所述数据管理模块用于分别监控所述数据集成模块、数据存储模块和数据开放模块的数据处理过程。3.根据权利要求2所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据管理模块包括：元数据管理单元、对象存储管理单元和开发指数监控单元；所述元数据管理单元，用于基于两级数据目录机制管理和监控数据；所述对象存储管理单元，用于基于多租户技术对数据隔离管理；所述开发指数监控单元，用于监控开放资源维度指数和存储资源维度指数。4.根据权利要求3所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据管理模块还包括数据评价收集单元和数据评价分析单元；所述数据评价采集单元，用于收集开放数据的需求满足度...

【专利技术属性】
技术研发人员：魏文国，刘忻，谢桂园，蔡君，
申请(专利权)人：广东技术师范学院，广州市品高软件股份有限公司，
类型：发明
国别省市：广东,44