一种批量作业调度处理方法、设备及存储介质技术

本发明专利技术涉及一种批量作业调度处理方法、设备及存储介质，该方法包括以下步骤：建立数据库作业状态表及补跑作业备份表，其中，数据库作业状态表用于更新记录所有作业的相关数据；按照第一设定时间，定时从数据库作业状态表查找未完成作业，并将未完成作业的相关数据插入补跑作业备份表；之后跳过未完成作业，完成整体批量作业；按照第二设定时间，定时查询补跑作业备份表中是否存在其他系统文件加载作业，若存在，则进行数据补处理、之后开始整体批量作业；否则直接开始整体批量作业。与现有技术相比，本发明专利技术在源系统文件未及时传输的情况下，能够自动跳过未完成作业，并且进行数据补处理，确保作业能够及时可靠完成。确保作业能够及时可靠完成。确保作业能够及时可靠完成。

【技术实现步骤摘要】
一种批量作业调度处理方法、设备及存储介质


[0001]本专利技术涉及数据批处理
，尤其是涉及一种批量作业调度处理方法。

技术介绍

[0002]随着国内商业银行信息化建设的快速发展和企业应用集成技术的广泛应用，往往需要面对各种客群覆盖广、业务规模大、数据质量优、推广价值高的供应链等应用场景，这些场景的业务表数量多、数据量较大，而且由于业务系统是面向对公客户，银行的业务人员处理业务时只能操作其名下客户，且联机操作以客户为维度，无法进行大规模客户操作，所以在不影响业务功能的前提下，现有技术往往需要在夜间根据统一客户特征进行批量数据操作，运行大量worker，而且很多worker依赖其他业务系统的数据文件传输，一旦源系统文件由于某些原因无法在夜间到达时，将导致整个批量作业无法按时结束而影响整体业务功能，不利于作业及时可靠的执行完成。

技术实现思路

[0003]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种批量作业调度处理方法、设备及存储介质，在源系统文件未及时传输的情况下，能够自动跳过未完成作业，并且进行数据补处理，确保作业能够及时可靠完成。
[0004]本专利技术的目的可以通过以下技术方案来实现：一种批量作业调度处理方法，包括以下步骤：
[0005]S1、建立数据库作业状态表及补跑作业备份表，其中，数据库作业状态表用于更新记录所有作业的相关数据；
[0006]S2、按照第一设定时间，定时从数据库作业状态表查找未完成作业，并将未完成作业的相关数据插入补跑作业备份表；
[0007]之后跳过未完成作业，完成整体批量作业；
[0008]S3、按照第二设定时间，定时查询补跑作业备份表中是否存在其他系统文件加载作业，若存在，则进行数据补处理、之后开始整体批量作业；
[0009]否则直接开始整体批量作业。
[0010]进一步地，所述步骤S1中作业的相关数据包括作业ID、运行日期和运行状态，所述运行状态具体为“已完成”或“未完成”。
[0011]进一步地，所述步骤S2具体是将未完成作业的作业ID及运行日期插入补跑作业备份表。
[0012]进一步地，所述步骤S2中跳过未完成作业具体是将查找到的未完成作业强制置为“已完成状态”。
[0013]进一步地，所述步骤S2中第一设定时间具体为白天营业时间之前的设定时间。
[0014]进一步地，所述步骤S3中第二设定时间具体为夜间执行整体批量作业之前的设定时间。
[0015]进一步地，所述步骤S3具体是从补跑作业备份表中查询运行日期为前一日的未完成作业是否存在其他系统文件加载作业，若存在，则进行前一日数据文件的数据补处理，待数据补处理完成后再开始当日的整体批量作业；
[0016]否则直接开始当日的整体批量作业。
[0017]进一步地，所述步骤S2具体是采用ORACLE定时JOB的方式，以定时从数据库作业状态表查找未完成作业。
[0018]一种批量作业调度处理设备，包括处理器，所述处理器与存储器通信连接，所述存储器存储有计算机可读程序，所述处理器执行所述计算机可读程序时实现上述的批量作业调度处理方法。
[0019]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述批量作业调度处理方法的步骤。
[0020]与现有技术相比，本专利技术具有以下优点：
[0021]一、本专利技术通过建立数据库作业状态表及补跑作业备份表，利用数据库作业状态表更新记录所有作业的相关数据，利用补跑作业备份表记录未完成作业，再通过定时从数据库作业状态表查找未完成作业、定时从补跑作业备份表查询是否存在加载作业，以判断是否进行数据补处理。由此在源系统文件未及时传输的情况下，能够自动跳过未完成作业，避免影响业务功能，并且能够进行数据补处理，从而避免发生数据丢失，确保作业能够及时可靠完成。
[0022]二、本专利技术将第一设定时间设置在白天营业时间之前，将第二设定时间设置在夜间执行整体批量作业之前，从而能够在当日的白天营业时间前定时检查作业是否运行完成，并将未完成作业跳过、避免影响当日的业务功能；在当日的夜间开始整体批量作业之前先将前一日跳过的未完成作业进行补跑后、再进行整体作业运行。从而实现一种配置化定时跳过未完成作业并自动补运行的方案，能够灵活地进行数据补处理，既不会影响当日的业务正常运行，也避免了数据丢失。
附图说明
[0023]图1为本专利技术的方法流程示意图。
具体实施方式
[0024]下面结合附图和具体实施例对本专利技术进行详细说明。
[0025]实施例
[0026]如图1所示，一种批量作业调度处理方法，包括以下步骤：
[0027]S1、建立数据库作业状态表及补跑作业备份表，其中，数据库作业状态表用于更新记录所有作业的相关数据；
[0028]S2、按照第一设定时间，定时从数据库作业状态表查找未完成作业，并将未完成作业的相关数据插入补跑作业备份表；
[0029]之后跳过未完成作业，完成整体批量作业；
[0030]S3、按照第二设定时间，定时查询补跑作业备份表中是否存在其他系统文件加载作业，若存在，则进行数据补处理、之后开始整体批量作业；
[0031]否则直接开始整体批量作业。
[0032]本实施例应用上述技术方案，主要内容包括：
[0033](一)、创建补跑作业备份表
[0034]根据数据库备份需求，定义合适的备份配置表结构如下：
[0035]字段名称字段类型注释JOBIDvarchar2(50)跳过的作业IDPeriodvarchar2(50)跳过作业的运行日期
[0036](二)、跳过T日未完成的作业并记录
[0037]编写程序实现：根据运行日期T，在白天营业时间前定时从worker状态表(即数据库作业状态表)中查找作业是否全部完成，并将未完成的作业和运行日期插入补跑作业备份表中，然后跳过未完成的作业(即将未完成作业强制置为成功)，完成整体批量。
[0038](三)、T+1日批量作业补处理
[0039]编写程序实现：在夜间开始整体批量作业之前，根据T日查询补跑作业备份表的作业ID，然后判断T日跳过的作业是否存在文件加载作业，如果存在文件加载作业，则需要进行T日数据文件的补数处理，待补数完成后开始T+1日的整体批量；如果T日跳过的作业均非文件加载作业，则不需要进行文件补数操作，直接开始T+1日的整体批量作业。
[0040](四)、利用ORACLE定时JOB执行跳过作业的程序
[0041]在数据库设置定时JOB，调用(二)的程序，实现在每日业务系统使用前定时跳过未完成作业。
[0042]综上可知，本技术方案建立数据库作业状态表，补跑作业备份表，编写程序查找作业状态为未完成的worker ID，将其作业ID和运行日期插入补跑作业备份表，然后跳过未完成的作业，实现整个批量作业的结束；并在第二天整体批量运行前，查询本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种批量作业调度处理方法，其特征在于，包括以下步骤：S1、建立数据库作业状态表及补跑作业备份表，其中，数据库作业状态表用于更新记录所有作业的相关数据；S2、按照第一设定时间，定时从数据库作业状态表查找未完成作业，并将未完成作业的相关数据插入补跑作业备份表；之后跳过未完成作业，完成整体批量作业；S3、按照第二设定时间，定时查询补跑作业备份表中是否存在其他系统文件加载作业，若存在，则进行数据补处理、之后开始整体批量作业；否则直接开始整体批量作业。2.根据权利要求1所述的一种批量作业调度处理方法，其特征在于，所述步骤S1中作业的相关数据包括作业ID、运行日期和运行状态，所述运行状态具体为“已完成”或“未完成”。3.根据权利要求2所述的一种批量作业调度处理方法，其特征在于，所述步骤S2具体是将未完成作业的作业ID及运行日期插入补跑作业备份表。4.根据权利要求2所述的一种批量作业调度处理方法，其特征在于，所述步骤S2中跳过未完成作业具体是将查找到的未完成作业强制置为“已完成状态”。5.根据权利要求1所述的一种批量作业调度处理方法，其特征在于，所述步骤S2中第一设定...

【专利技术属性】
技术研发人员：贾红蕾，
申请(专利权)人：中银金融科技有限公司，
类型：发明
国别省市：