【技术实现步骤摘要】
数据管理方法、设备、系统及存储介质
本申请涉及数据地图领域，尤其涉及一种数据管理方法、设备、系统及存储介质。
技术介绍
近年来，随着大数据的普及、流计算的兴起和数据中台概念的产生，业务发展而产生的数据链路呈现出深层网络状结构发展，数据处理关系变得错中复杂，数据的消费和生成层级越来越深，这导致数据的正确性和有效性难以保证、难以监控，数据问题的定位和溯源难度极高。数据地图是一种用于描述完整业务链路中数据间依赖关系的概念，用来表现数据从产生、消费、组合到交付给用户使用的完整的元数据信息和数据处理链路拓扑结构。在当前业界，数据地图是新兴概念，处于起步发展阶段，开源方案中以wherehows最广为所知和应用最多，是一种用于大数据发现和管理的工具，集成了所有主要的数据处理系统，可以对单一数据源的数据进行分类收集和元数据操作。然而，随着流计算、非结构化存储的发展，各类数据存储、处理中间件的兴起，目前还没有一种能够满足任意数据源的接入，混合数据源之间的关联关系的管理的方案。
技术实现思路
本申请提供一种数...
【技术保护点】
1.一种数据管理系统，其特征在于，包括：/n数据存储层，内核处理层，功能模块层，数据访问驱动层；/n所述数据存储层包括用于存储关系结构数据的关系结构数据库以及用于存储拓扑结构数据的图数据库；/n所述功能模块层包括：第一功能模块，第二功能模块，第三功能模块，第四功能模块，第五功能模块；其中，所述第一功能模块用于定义并处理不同属性的链路拓扑结构查询，所述第二功能模块用于定义并处理数据关系的操作，所述第三功能模块用于定义并封装不同属性的数据的元信息操作，所述第四功能模块用于提供可扩展的不同属性的数据作业发现功能，所述第五功能模块用于提供可扩展的不同属性的数据的访问功能；/n所述内...
【技术特征摘要】
1.一种数据管理系统，其特征在于，包括：
数据存储层，内核处理层，功能模块层，数据访问驱动层；
所述数据存储层包括用于存储关系结构数据的关系结构数据库以及用于存储拓扑结构数据的图数据库；
所述功能模块层包括：第一功能模块，第二功能模块，第三功能模块，第四功能模块，第五功能模块；其中，所述第一功能模块用于定义并处理不同属性的链路拓扑结构查询，所述第二功能模块用于定义并处理数据关系的操作，所述第三功能模块用于定义并封装不同属性的数据的元信息操作，所述第四功能模块用于提供可扩展的不同属性的数据作业发现功能，所述第五功能模块用于提供可扩展的不同属性的数据的访问功能；
所述内核处理层设置在所述数据存储层和所述功能模块层之间，所述内核处理层包括：强一致性操作模型和不同属性的数据的描述模型，所述强一致性模型用于在所述功能模块层对数据进行更新后，维护所述关系结构数据库和所述图数据库中数据的一致性；所述描述模型用于将不同属性的数据使用统一的元信息进行描述；
所述数据访问驱动层用于定义数据操作协议和驱动描述对象协议，并提供不同属性的数据源的使用和接入接口。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：接口层，用于对外提供服务接口；
所述接口层包括：与所述第一功能模块对应的链路拓扑查询API；与所述第二功能模块对应的数据关系管理API；与所述第三功能模块对应的数据源管理API；与所述第四功能模块对应的数据作业管理API；与所述第五功能模块对应的数据集管理API。
3.根据权利要求1或2所述的系统，其特征在于，所述不同属性的数据包括支持异构的数据源，数据集和数据作业。
4.根据权利要求1或2所述的系统，其特征在于，所述图数据库中存储的拓扑结构数据由关系实体，每个实体的所属边，处理边以及处理完成边组成，所述关系结构数据库中存储的数据关系由上游数据集ID，下游数据集ID和数据处理作业ID组成。
5.根据权利要求1或2所述的系统，其特征在于，所述系统还包括：服务对象，所述服务对象通过所述数据访问驱动层进行数据交互；所述服务对象包括数据源和数据作业。
6.一种数据管理方法，其特征在于，应用于权利要求1至5任一项所述的数据管理系统，所述方法包括：
通过链路拓扑查询API接收链路拓扑结构查询请求，所述链路拓扑结构查询请求中包括待查询的属性字段，所述属性字段包括URI，名字和类型中的至少一个字段；
根据所述待查询的属性字段，从所述图...
【专利技术属性】
技术研发人员：赵宗飞，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。