跑批处理的控制方法、装置、设备及存储介质制造方法及图纸

本申请实施例公开了一种跑批处理的控制方法、装置、设备及存储介质，所述方法包括：获取目标数据库的服务器当前时间，其中，所述目标数据库为导入目标业务数据的数据库；在所述目标数据库的服务器当前时间满足预设跑批条件的情况下，获取所述目标业务数据的跑批状态；在所述目标业务数据为未跑批状态的情况下，判断所述目标数据库的服务器当前时间是否属于业务办理高峰时段；在所述目标数据库的服务器当前时间不属于业务办理高峰时段的情况下，对所述目标业务数据执行跑批处理。该方法使跑批处理避开了业务办理的高峰时段，使数据库资源均衡利用，避免了触发数据库资源瓶颈，进而避免了应用系统生产事故的产生。

【技术实现步骤摘要】

本申请涉及数据批处理，尤其涉及一种跑批处理的控制方法、装置、设备及存储介质。

技术介绍

1、在需要对大量的数据进行有效管理时，通常通过跑批作业进行管理，跑批的流程大概为：上游应用系统db库(oracle/mysql/oceanbase/tidb/es/tdsql/postgre库等)采集数据到hadoop(hive库)，在hive库做一些数据加工逻辑，hive库再把数据导入到下游应用系统db库(oracle/mysql/oceanbase/tidb库等)。其中，上游db库数据导入hive库，称之为采集作业；hive库中间数据加工作业，称之为加工作业；hive库数据导入到下游db库，称之为卸数作业。

2、由于卸数作业执行比较频繁，执行的时间段完全依赖于hive库加工作业，一般是加工作业执行完成之后，再触发卸数作业自动调起，而每一次卸数作业的执行过程，对数据库而言就是大量的i/o写入，因此在卸数作业过程中，对数据库资源消耗大，尤其处于业务办理高峰时段时，可能会造成数据库资源争抢，达到数据库资源瓶颈，造成数据库服务器cup飙升到100％，进而引发应用本文档来自技高网...

【技术保护点】

1.一种跑批处理的控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的跑批处理的控制方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的跑批处理的控制方法，其特征在于，所述判断所述目标数据库的服务器当前时间是否属于业务办理高峰时段，包括：

4.根据权利要求1所述的跑批处理的控制方法，其特征在于，所述判断所述目标数据库的服务器当前时间是否属于业务办理高峰时段，包括：

5.根据权利要求1所述的跑批处理的控制方法，其特征在于，所述对所述目标业务数据执行跑批处理，包括：

6.根据权利要求5所述的跑批处理的控制方法，其特...

【技术特征摘要】

1.一种跑批处理的控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的跑批处理的控制方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的跑批处理的控制方法，其特征在于，所述判断所述目标数据库的服务器当前时间是否属于业务办理高峰时段，包括：

4.根据权利要求1所述的跑批处理的控制方法，其特征在于，所述判断所述目标数据库的服务器当前时间是否属于业务办理高峰时段，包括：

5.根据权利要求1所述的跑批处理的控制方法，其特征在于，所述对所述目标业务数据执行跑批处理，包括：

6.根据权利要求5所...

【专利技术属性】
技术研发人员：邓根强，
申请(专利权)人：平安银行股份有限公司，
类型：发明
国别省市：