本申请公开了一种数据库清理方法、装置、存储介质和设备，该方法为：按照预设时间周期，定时读取预先构建的清理控制表，获得各个预先配置的清理语句；生成每个清理语句的任务；基于每个工作节点的计算资源使用量以及计算资源总量，计算得出每个工作节点的计算资源可用量；轮流为每个工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕；控制每个工作节点执行每个工作节点所拥有的任务。基于本申请所示方案，通过将各个清理语句的任务分配到各个工作节点执行，实现各个清理语句的并发执行，从而有效提高数据库中垃圾数据的清理效率。效率。效率。
【技术实现步骤摘要】
数据库清理方法、装置、存储介质和设备
[0001]本申请涉及数据库领域，尤其涉及一种数据库清理方法、装置、存储介质和设备。
技术介绍
[0002]大型联机业务系统在运行过程中，会产生大量业务流水数据与日志数据，随着时间流逝，这些数据会变为垃圾数据，并以数据库表的形式存储在业务系统中，占据业务系统的数据库存储空间，需要定时清理。
[0003]针对这些历史数据库表的清理一般的做法是通过定时任务调度起shell脚本，实现逐条进行删除操作，然而这种做法有存在两个问题，一个是若同步顺序执行清理语句，则导致清理效率降低；若异步并发执行清理语句，则操作系统的CPU会临时冲高，可能触发操作系统CPU预警，从而为清理工作增加额外工作量。
[0004]为此，如何提高数据库中垃圾数据的清理效率，成为本领域亟需解决的问题。
技术实现思路
[0005]本申请提供了一种数据库清理方法、装置、存储介质和设备，目的在于提高数据库中垃圾数据的清理效率。
[0006]为了实现上述目的，本申请提供了以下技术方案：
[0007]一种数据库清理方法，包括：
[0008]按照预设时间周期，定时读取预先构建的清理控制表，获得各个预先配置的清理语句；所述清理语句用于清除数据库中的垃圾数据；
[0009]生成每个所述清理语句的任务；所述任务用于调用计算资源运行所述清理语句；
[0010]基于每个所述工作节点的计算资源使用量以及计算资源总量，计算得出每个所述工作节点的计算资源可用量；所述计算资源使用量以及所述计算资源总量，均通过访问所述工作节点所获得；
[0011]轮流为每个所述工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕；所述预设条件为：所述任务所需的计算资源量小于所述工作节点的当前计算资源可用量；所述当前计算资源可用量为所述工作节点的计算资源可用量与目标数值的差值；所述目标数值为已分配给所述工作节点的多个任务所需的计算资源量的总和；
[0012]控制每个所述工作节点执行每个所述工作节点所拥有的任务。
[0013]可选的，所述轮流为每个所述工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕，包括：
[0014]按照计算资源可用量从多到少的顺序，依次对各个所述工作节点进行序号标识，得到各个所述工作节点的序号；
[0015]按照序号由前到后的顺序，轮流为每个所述工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕。
[0016]可选的，所述控制每个所述工作节点执行每个所述工作节点所拥有的任务之后，
还包括：
[0017]记录各个所述任务的执行时间和执行日期；
[0018]基于各个所述任务的执行时间、执行日期、计算资源量、所属清理语句的ID，构建与所述预设时间周期对应的清理历史记录表；
[0019]将所述清理历史记录表存储到本地。
[0020]可选的，所述基于每个所述工作节点的计算资源使用量以及计算资源总量，计算得出每个所述工作节点的计算资源可用量，包括：
[0021]对于每个所述工作节点，预先计算得出所述工作节点的计算资源总量与计算资源使用量之间的差值，并计算所述差值与预设数值之间的乘积，得到所述工作节点的计算资源可用量。
[0022]一种数据库清理装置，包括：
[0023]读取单元，用于按照预设时间周期，定时读取预先构建的清理控制表，获得各个预先配置的清理语句；所述清理语句用于清除数据库中的垃圾数据；
[0024]生成单元，用于生成每个所述清理语句的任务；所述任务用于调用计算资源运行所述清理语句；
[0025]计算单元，用于基于每个所述工作节点的计算资源使用量以及计算资源总量，计算得出每个所述工作节点的计算资源可用量；所述计算资源使用量以及所述计算资源总量，均通过访问所述工作节点所获得；
[0026]分配单元，用于轮流为每个所述工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕；所述预设条件为：所述任务所需的计算资源量小于所述工作节点的当前计算资源可用量；所述当前计算资源可用量为所述工作节点的计算资源可用量与目标数值的差值；所述目标数值为已分配给所述工作节点的多个任务所需的计算资源量的总和；
[0027]执行单元，用于控制每个所述工作节点执行每个所述工作节点所拥有的任务。
[0028]可选的，所述分配单元具体用于：
[0029]按照计算资源可用量从多到少的顺序，依次对各个所述工作节点进行序号标识，得到各个所述工作节点的序号；
[0030]按照序号由前到后的顺序，轮流为每个所述工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕。
[0031]可选的，还包括记录单元；
[0032]所述记录单元，具体用于：记录各个所述任务的执行时间和执行日期；基于各个所述任务的执行时间、执行日期、计算资源量、所属清理语句的ID，构建与所述预设时间周期对应的清理历史记录表；将所述清理历史记录表存储到本地。
[0033]可选的，所述计算单元具体用于：
[0034]对于每个所述工作节点，预先计算得出所述工作节点的计算资源总量与计算资源使用量之间的差值，并计算所述差值与预设数值之间的乘积，得到所述工作节点的计算资源可用量。
[0035]一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行所述的数据库清理方法。
[0036]一种数据库清理设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；
[0037]所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行所述的数据库清理方法。
[0038]本申请提供的技术方案，按照预设时间周期，定时读取预先构建的清理控制表，获得各个预先配置的清理语句。生成每个清理语句的任务。基于每个工作节点的计算资源使用量以及计算资源总量，计算得出每个工作节点的计算资源可用量。轮流为每个工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕。控制每个工作节点执行每个工作节点所拥有的任务。基于本申请所示方案，通过将各个清理语句的任务分配到各个工作节点执行，实现各个清理语句的并发执行，从而有效提高数据库中垃圾数据的清理效率。
附图说明
[0039]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]图1为本申请实施例提供的一种数据库清理方法的流程示意图；
[0041]图2为本申请实施例提供的另一种数据库清理方法的流程示意图；
[0042]图3为本申请实施例提供的一种数据库清理装置的架构示意图。
具体实施方式
[0043]下本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据库清理方法，其特征在于，包括：按照预设时间周期，定时读取预先构建的清理控制表，获得各个预先配置的清理语句；所述清理语句用于清除数据库中的垃圾数据；生成每个所述清理语句的任务；所述任务用于调用计算资源运行所述清理语句；基于每个所述工作节点的计算资源使用量以及计算资源总量，计算得出每个所述工作节点的计算资源可用量；所述计算资源使用量以及所述计算资源总量，均通过访问所述工作节点所获得；轮流为每个所述工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕；所述预设条件为：所述任务所需的计算资源量小于所述工作节点的当前计算资源可用量；所述当前计算资源可用量为所述工作节点的计算资源可用量与目标数值的差值；所述目标数值为已分配给所述工作节点的多个任务所需的计算资源量的总和；控制每个所述工作节点执行每个所述工作节点所拥有的任务。2.根据权利要求1所述的方法，其特征在于，所述轮流为每个所述工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕，包括：按照计算资源可用量从多到少的顺序，依次对各个所述工作节点进行序号标识，得到各个所述工作节点的序号；按照序号由前到后的顺序，轮流为每个所述工作节点分配一个满足预设条件的任务，直至所有任务均被分配完毕。3.根据权利要求1所述的方法，其特征在于，所述控制每个所述工作节点执行每个所述工作节点所拥有的任务之后，还包括：记录各个所述任务的执行时间和执行日期；基于各个所述任务的执行时间、执行日期、计算资源量、所属清理语句的ID，构建与所述预设时间周期对应的清理历史记录表；将所述清理历史记录表存储到本地。4.根据权利要求1所述的方法，其特征在于，所述基于每个所述工作节点的计算资源使用量以及计算资源总量，计算得出每个所述工作节点的计算资源可用量，包括：对于每个所述工作节点，预先计算得出所述工作节点的计算资源总量与计算资源使用量之间的差值，并计算所述差值与预设数值之间的乘积，得到所述工作节点的计算资源可用量。5.一种数据库清理装置，其特征在于，包括：读取单元，用于按照预设时间周期，定时读取预先构建的清理控制表，获得各个预先配置的清理语句；所述清理语句用于清除数据库中的垃...
【专利技术属性】
技术研发人员：宋学方，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。