数据管理方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术提供一种数据管理方法、装置、服务器及存储介质，该方法包括：根据数据应用的级别，确定数据应用的数据表的重要级别；根据数据表的重要级别，对数据表的数据处理过程进行管理。本发明专利技术可减少数据运维的工作量，提高数据准确度和及时性。

【技术实现步骤摘要】
数据管理方法、装置、服务器及存储介质
本专利技术涉及大数据
，尤其涉及一种数据管理方法、装置、服务器及存储介质。
技术介绍
随着大数据技术的发展，数据资产越来越多，占用了大量的存储及计算资源。庞大的数据资产中，数据要么没有级别，要么由用户随意填选的，无法保证数据级别的准确性。同时，对于数据处理过程的管理，也是基于人为配置进行的。基于人为配置进行数据管理，运维工作量较大，且容易出错，数据的准确度及时效性也没法得到保证。
技术实现思路
本专利技术提供一种数据管理方法、装置、服务器及存储介质，以减少了数据运维的工作量，提高数据的准确度和及时性。第一方面，本专利技术提供一种数据管理方法，所述数据管理方法适用于大数据平台，所述方法包括：根据数据应用的级别，确定所述数据应用的数据表的重要级别；根据所述数据表的重要级别，对所述数据表的数据处理过程进行管理。第二方面，本专利技术提供一种数据管理装置，所述数据管理装置适用于大数据平台，所述数据管理装置包括：确定模块，用于根据数据应用本文档来自技高网...

【技术保护点】
1.一种数据管理方法，其特征在于，所述数据管理方法适用于大数据平台，所述方法包括：/n根据数据应用的级别，确定所述数据应用的数据表的重要级别；/n根据所述数据表的重要级别，对所述数据表的数据处理过程进行管理。/n

【技术特征摘要】
1.一种数据管理方法，其特征在于，所述数据管理方法适用于大数据平台，所述方法包括：
根据数据应用的级别，确定所述数据应用的数据表的重要级别；
根据所述数据表的重要级别，对所述数据表的数据处理过程进行管理。


2.根据权利要求1所述的方法，其特征在于，所述数据应用的数据表包括：所述数据应用的使用数据表，和，所述使用数据表的上游数据表；所述上游数据表为生成所述使用数据表所采用的数据表；所述根据数据应用的级别，确定所述数据应用的数据表的重要级别，包括：
根据所述数据应用的级别，确定所述使用数据表的重要级别；
根据所述使用数据表的重要级别，进行反向溯源，确定所述上游数据表的重要级别。


3.根据权利要求1所述的方法，其特征在于，所述根据数据应用的级别，确定所述数据应用的数据表的重要级别，还包括：
若一个数据表为多个数据应用的使用数据表的上游数据表，且，根据所述多个数据应用得到的所述一个数据表的重要级别不同，则将最高的重要级别确定为所述一个数据表的重要级别。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述数据表的重要级别，对所述数据表的数据处理过程进行管理，包括：
根据所述数据表的重要级别，确定所述重要级别对应的质量监控规则；
根据所述质量监控规则，进行数据质量的检查，以获取所述数据表的数据任务的调度执行过程中或调度执行之后所述数据表的数据质量信息，其中，所述数据任务的调度执行用以对所述数据表进行数据处理。


5.根据权利要求4所述的方法，其特征在于，所述数据任务包括如下至少一种：提取转换加载ETL任务、数据计算任务，和数据推送任务。


6.根据权利要求4所述的方法，其特征在于，所述数据质量信息包括如下中的至少一项信息：数据完整性、数据准确度、数据一致性。


7.根据权利要求4所述的方法，其特征在于，若所述数据任务的调度执行过程中或所述数据任务的调度执行之后所述数据表的数据存在质量问题，或，所述数据任务的调度执行时间出...

【专利技术属性】
技术研发人员：贾烈，刘荣明，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11