数据管理方法、装置、服务器及存储介质制造方法及图纸

本发明专利技术提供一种数据管理方法、装置、服务器及存储介质，该方法包括：根据数据应用的级别，确定数据应用的数据表的重要级别；根据数据表的重要级别，对数据表的数据处理过程进行管理。本发明专利技术可减少数据运维的工作量，提高数据准确度和及时性。

【技术实现步骤摘要】
数据管理方法、装置、服务器及存储介质
本专利技术涉及大数据
，尤其涉及一种数据管理方法、装置、服务器及存储介质。
技术介绍
随着大数据技术的发展，数据资产越来越多，占用了大量的存储及计算资源。庞大的数据资产中，数据要么没有级别，要么由用户随意填选的，无法保证数据级别的准确性。同时，对于数据处理过程的管理，也是基于人为配置进行的。基于人为配置进行数据管理，运维工作量较大，且容易出错，数据的准确度及时效性也没法得到保证。
技术实现思路
本专利技术提供一种数据管理方法、装置、服务器及存储介质，以减少了数据运维的工作量，提高数据的准确度和及时性。第一方面，本专利技术提供一种数据管理方法，所述数据管理方法适用于大数据平台，所述方法包括：根据数据应用的级别，确定所述数据应用的数据表的重要级别；根据所述数据表的重要级别，对所述数据表的数据处理过程进行管理。第二方面，本专利技术提供一种数据管理装置，所述数据管理装置适用于大数据平台，所述数据管理装置包括：确定模块，用于根据数据应用的级别，确定所述数据应用的数据表的重要级别；管理模块，用于根据所述数据表的重要级别，对所述数据表的数据处理过程进行管理。第三方面，本专利技术还提供一种服务器，包括：存储器及处理器；所述存储器与所述处理器连接；所述存储器，用于存储程序指令；所述处理器，用于在程序指令被执行时，实现上述第一方面所示的数据管理方法。第四方面，本专利技术还可提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现权实现上述第一方面的数据管理方法。本专利技术提供一种数据管理方法、装置、服务器及存储介质，可根据数据应用的级别，确定该数据应用的数据表的重要级别，根据该数据表的重要级别，对该数据表的数据处理过程进行管理。该方法中，基于数据应用的级别，确定该数据应用的数据表的重要级别，可保证数据级别的准确性，并根据基于重要级别对该数据表的数据处理过程进行管理，无需进行人为配置，减少了数据运维的工作量，保证了数据的准确度和及时性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种数据系统的示意图一；图2为本专利技术实施例提供的一种数据系统的示意图二；图3为本专利技术实施例提供的数据管理方法的流程图一；图4为本专利技术实施例提供的数据管理方法的流程图二；图5为本专利技术实施例提供的一种数据管理方法中确定数据表的重要级别的示意图；图6为本专利技术实施例提供的数据管理方法的流程图三；图7为本专利技术实施例提供的数据管理方法的流程图四；图8为本专利技术实施例提供的数据管理装置的结构示意图；图9为本专利技术一实施例提供的服务器的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，本专利技术实施例各部分及附图中的术语“第一”、“第二”及“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本专利技术下述实施例所涉及的方法流程图仅是示例性说明，不是必须包括所有的内容和步骤，也不是必须按照所描述的顺序执行。例如，有些步骤还可以分解，而有些步骤可以合并或部分合并，因此，实际执行的顺序可根据实际情况改变。本专利技术下述实施例所涉及的方框图中的功能模块仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或者不同网络和/或处理器和/或微控制器中实现这些功能实体。如下先对本专利技术实施例所适用的数据系统进行说明。图1为本专利技术实施例提供的一种数据系统的示意图一。如图1所示，本专利技术实施例所提供的数据系统可包括：数据库系统11、大数据平台12和数据应用管理系统13。数据库系统11可以为数据库管理系统、关系型数据库系统、分布式数据库系统(HadoopDatabase，简称HBase)等列式存储数据库。数据库系统11还可称为数据库服务平台，其为业务系统提供数据库的支持，其可具有至少一个业务系统的数据库，每个业务系统的数据库中可存储有该业务系统的数据。该数据库系统11可作为大数据平台的接入数据源和推送数据源。该数据库系统11具体可以可在一个或多个服务器上实现。大数据平台12可在对来自数据库系统的数据进行处理后，将处理后的数据传输至数据应用系统13，用以使得数据应用系统13中的数据应用进行使用。大数据平台12可对来自数据库系统11中的业务系统的数据，采用抽取转换加载(Extract-Transform-Load，简称ETL)工具又称数据直通车对数据进行处理，以将数据加载至数据仓库，并由数据仓库推送至数据集市；或者，由该ETL工具对处理数据处理后，直接将数据从数据仓库推送至数据集市。在大数据平台12中，数据可在数据仓库和数据集市中进行计算处理后，可被推送至数据应用系统13中的数据应用，或者，被推送至数据应用系统中的数据应用的数据库中，用以被该数据应用使用，为该数据应用服务。大数据平台13可在多个服务器组成的服务器集群上实现。数据应用管理系统13可管理多个数据应用，例如，报表平台、运营监控平台、经营分析平台、数据罗盘平台、对外数据报告平台等。该数据应用管理系统13也可在一个或多个服务器实现。数据应用管理系统13所管理的多个数据应用可具有各自的级别，数据应用的级别可以为该数据应用的重要级别，用以表征该数据应用的重要性。该数据应用的重要性例如可根据该数据应用所服务的业务范围和/或该所服务业务的重要程度确定的，还可根据该数据应用所产生数据的重要性确定。应用于不同行业的数据应用可具有不同的级别划分方式。例如，在电商行业中，数据应用的重要性例如可根据该数据应用所产生的数据的重要性确定，该数据的重要性例如可以为该数据产生的影响范围，数据产生的影响范围越大，则数据的重要性越大，数据产生的影响范围越小，则数据的重要性越小。基于数据的重要性所确定本文档来自技高网...

【技术保护点】
1.一种数据管理方法，其特征在于，所述数据管理方法适用于大数据平台，所述方法包括：/n根据数据应用的级别，确定所述数据应用的数据表的重要级别；/n根据所述数据表的重要级别，对所述数据表的数据处理过程进行管理。/n

【技术特征摘要】
1.一种数据管理方法，其特征在于，所述数据管理方法适用于大数据平台，所述方法包括：
根据数据应用的级别，确定所述数据应用的数据表的重要级别；
根据所述数据表的重要级别，对所述数据表的数据处理过程进行管理。


2.根据权利要求1所述的方法，其特征在于，所述数据应用的数据表包括：所述数据应用的使用数据表，和，所述使用数据表的上游数据表；所述上游数据表为生成所述使用数据表所采用的数据表；所述根据数据应用的级别，确定所述数据应用的数据表的重要级别，包括：
根据所述数据应用的级别，确定所述使用数据表的重要级别；
根据所述使用数据表的重要级别，进行反向溯源，确定所述上游数据表的重要级别。


3.根据权利要求1所述的方法，其特征在于，所述根据数据应用的级别，确定所述数据应用的数据表的重要级别，还包括：
若一个数据表为多个数据应用的使用数据表的上游数据表，且，根据所述多个数据应用得到的所述一个数据表的重要级别不同，则将最高的重要级别确定为所述一个数据表的重要级别。


4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述数据表的重要级别，对所述数据表的数据处理过程进行管理，包括：
根据所述数据表的重要级别，确定所述重要级别对应的质量监控规则；
根据所述质量监控规则，进行数据质量的检查，以获取所述数据表的数据任务的调度执行过程中或调度执行之后所述数据表的数据质量信息，其中，所述数据任务的调度执行用以对所述数据表进行数据处理。


5.根据权利要求4所述的方法，其特征在于，所述数据任务包括如下至少一种：提取转换加载ETL任务、数据计算任务，和数据推送任务。


6.根据权利要求4所述的方法，其特征在于，所述数据质量信息包括如下中的至少一项信息：数据完整性、数据准确度、数据一致性。


7.根据权利要求4所述的方法，其特征在于，若所述数据任务的调度执行过程中或所述数据任务的调度执行之后所述数据表的数据存在质量问题，或，所述数据任务的调度执行时间出...

【专利技术属性】
技术研发人员：贾烈，刘荣明，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11