一种数据生命周期的控制方法、装置、电子设备及介质制造方法及图纸

本申请提供一种数据生命周期的控制方法、装置、电子设备及介质。该方法包括：当元数据库的分区数据发生新增时，触发生成元数据表的生命周期管理任务，生命周期管理任务中包括元数据表的信息，元数据表的信息包括：元数据表所在的集群及其所属的数据库，以及元数据表的标识；元数据为数据文件的描述信息；根据元数据表的信息，从对应的元数据库中查询元数据表当前的分区数量；将元数据表的分区数量与预先配置的生命周期数进行比较，若分区数据超过生命周期数，则根据分区值的时间顺序生成删除任务，删除任务中包括待删除的元数据信息；在元数据表中执行删除任务。本申请的方法，降低了元数据库连接压力，并可及时高效地执行生命周期删除任务。期删除任务。期删除任务。

【技术实现步骤摘要】
一种数据生命周期的控制方法、装置、电子设备及介质


[0001]本申请涉及大数据领域，尤其涉及一种数据生命周期的控制方法、装置、电子设备及介质。

技术介绍

[0002]目前大数据领域主流的数据文件存储架构使用的是Apache基金会开发的Hadoop分布式系统基础架构，其中包括了一种分布式文件系统组件HDFS(Hadoop Distributed File System)，它可以在低廉的硬件上部署，实现高吞吐量、高容错的文件管理功能。同时Hadoop架构中另一数据仓库工具Hive，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。因此HDFS文件系统及Hive数仓工具，已被广泛应用于海量数据文件的存储、查询及分析。但随着公司业务的快速增长，数据文件在不断累积，然而HDFS文件系统及Hive数仓工具原生不具有对其数据文件进行生命周期管理的功能，不能及时高效的对生命周期之外的历史数据进行删除，从而使过期的历史数据长期留存，造成公司集群的存储成本不断增加。
[0003]目前在大数据生命周期管理方面，主要的解决方案是针对于Hive表数据文件的生命周期管理，通过固定的时间间隔，使程序定时获取待进行生命周期管理的Hive表元数据信息，按照设定的生命周期数，对其过期的数据文件存储的物理路径进行删除操作。
[0004]而采用这种方式会产生两点问题：若时间间隔设定的较长，则对过期的数据文件进行删除的时效性会降低，同时每一次程序启动时需要删除的数据文件也会累积增加，使程序执行速度缓慢；若时间间隔设定较短，则生命周期管理程序会频繁的访问Hive元数据库，并频繁的生成冗余的生命周期管理任务，从而对元数据库的连接请求造成较大压力。因此采用定时启动方式的生命周期管理程序，面对不断增加的删除任务，运行压力将会不断增加，使过期的数据文件不能及时的、高效的进行删除。

技术实现思路

[0005]本申请提供一种数据生命周期的控制方法、装置、电子设备及介质，用以解决过期的数据文件不能及时的、高效的进行删除问题。
[0006]一方面，本申请提供一种数据生命周期的控制方法，包括：
[0007]当元数据库的分区数据发生新增时，触发生成元数据表的生命周期管理任务，所述生命周期管理任务中包括所述元数据表的信息，所述元数据表的信息包括：所述元数据表所在的集群及其所属的数据库，以及所述元数据表的标识；所述元数据为数据文件的描述信息；
[0008]根据所述元数据表的信息，从对应的元数据库中查询所述元数据表当前的分区数量；
[0009]将所述元数据表的分区数量与预先配置的生命周期数进行比较，若所述分区数据超过所述生命周期数，则根据分区值的时间顺序生成删除任务，所述删除任务中包括待删
除的元数据信息；
[0010]在所述元数据表中执行所述删除任务。
[0011]进一步地，所述在所述元数据表中执行所述删除任务，包括：
[0012]在所述元数据表中删除的所述元数据表所在集群名称及其所属的数据库名称；
[0013]删除所述元数据表的标识及其分区数量。
[0014]进一步地，所述在所述元数据表中执行所述删除执行任务之前，还包括：
[0015]可采用单线程或多线程方式，将所述删除任务提交至Hive的接口以执行所述删除任务。
[0016]进一步地，所述在所述元数据表中执行所述删除执行任务之后，还包括：
[0017]将所述删除任务的执行结果存储至删除记录数据库。
[0018]进一步地，所述方法还包括：
[0019]按照设定时间区间，在所述删除记录数据库中确定在所述时间区间内执行的所述删除任务信息，所述删除任务信息包括：删除的元数据表标识、数量及其删除的分区总数量；
[0020]将所述设定时间区间内的删除任务信息与历史相同时间区间的删除任务信息进行对比；
[0021]若比对结果表示设定时间区间内的删除任务信息异常，则输出异常通知消息。
[0022]进一步地，所述元数据库为从元数据库，所述方法还包括：
[0023]为主元数据库创建所述从元数据库，通过主从同步中间件的方式对主元数据库和从元数据库进行元数据同步。
[0024]另一方面，本申请提供一种数据生命周期控制装置，包括：
[0025]配置模块，用于配置生命周期管理表的基本信息；
[0026]触发模块，用于触发生命周期管理表的管理任务；
[0027]判断模块，用于将生命周期管理表当前的分区数量与配置的生命周期数进行比较判断；
[0028]执行模块，用于与Hive的接口交互执行任务；
[0029]通知模块，用于对生命周期管理任务的执行情况进行异常通知。
[0030]第三方面，本申请提供一种电子设备，包括：
[0031]包括存储器和处理器，所述存储器用于存储计算机执行指令，所述处理器用于执行所述存储器存储的计算机执行指令，以实现如权利要求1
‑
6中任一项所述的方法。
[0032]第四方面，本申请提供一种介质，所述介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6任一项所述的方法。
[0033]本申请提供的数据生命周期的控制方法、装置、电子设备及介质，通过当元数据库的分区数据发生新增时，触发生成元数据表的生命周期管理任务，生命周期管理任务中包括元数据表的信息，元数据表的信息包括：元数据表所在的集群及其所属的数据库，以及元数据表的标识；元数据为数据文件的描述信息；根据元数据表的信息，从对应的元数据库中查询元数据表当前的分区数量；将元数据表的分区数量与预先配置的生命周期数进行比较，若分区数据超过生命周期数，则根据分区值的时间顺序生成删除任务，删除任务中包括待删除的元数据信息；在元数据表中执行删除任务。实现了降低元数据库连接压力，同时可
以及时高效的执行生命周期删除任务的效果。
附图说明
[0034]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
[0035]图1为本申请提供的一种数据生命周期的控制方法的流程示意图；
[0036]图2为本申请提供的又一种数据生命周期的控制方法的流程示意图；
[0037]图3为本申请提供的一种数据生命周期控制装置的结构示意图；
[0038]图4为本申请提供的一种电子设备的结构示意图。
[0039]通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
[0040]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据生命周期的控制方法，其特征在于，包括：当元数据库的分区数据发生新增时，触发生成元数据表的生命周期管理任务，所述生命周期管理任务中包括所述元数据表的信息，所述元数据表的信息包括：所述元数据表所在的集群及其所属的数据库，以及所述元数据表的标识；所述元数据为数据文件的描述信息；根据所述元数据表的信息，从对应的元数据库中查询所述元数据表当前的分区数量；将所述元数据表的分区数量与预先配置的生命周期数进行比较，若所述分区数据超过所述生命周期数，则根据分区值的时间顺序生成删除任务，所述删除任务中包括待删除的元数据信息；在所述元数据表中执行所述删除任务。2.根据权利要求1所述的方法，其特征在于，所述在所述元数据表中执行所述删除任务，包括：在所述元数据表中删除所述元数据表所在集群名称及其所属的数据库名称；删除所述元数据表的标识及其分区数量。3.根据权利要求2所述的方法，其特征在于，所述在所述元数据表中执行所述删除任务之前，还包括：可采用单线程或多线程方式，将所述删除任务提交至Hive的接口以执行所述删除任务。4.根据权利要求1所述的方法，其特征在于，所述在所述元数据表中执行所述删除任务之后，还包括：将所述删除任务的执行结果存储至删除记录数据库。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：按照设定时间区间，在所述删除记录数据库中确定在所述时间区间内执行的所述删除任务信息，所述删除任务信息包括：删除的元数据表标识、数量及其删除的分区总数量；将所述设定时...

【专利技术属性】
技术研发人员：刘子烨，杨波，王超，
申请(专利权)人：联通数字科技有限公司，
类型：发明
国别省市：