一种作业的检测方法技术

本发明专利技术提供一种作业的检测方法

【技术实现步骤摘要】
一种作业的检测方法、装置及计算机存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种作业的检测方法
、
装置及计算机存储介质
。

技术介绍

[0002]目前，多个批量作业通过串联或并联的方式运行，在批量作业处理的过程中，记录每一作业中数据发生错误的次数，并继续执行下一数据，当记录的次数超过错误阀值时，同时中断子作业和批量作业
。
不考虑不同的子作业发生错误的原因不同，仅通过上述方式进行一刀切中断，还需要等待人工处理的方式判定是否需要继续执行批量作业，从而影响作业处理的速度
。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种作业的检测方法
、
装置及计算机存储介质，以解决现有技术中存在的影响作业处理的速度的问题
。
[0004]为实现上述目的，本专利技术实施例提供如下技术方案：
[0005]本专利技术实施例第一方面示出了一种作业的检测方法，所述方法包括：
[0006]针对每一子作业，采集所述子作业的运行参数；
[0007]在确定所述运行参数中的失败记录数超过作业错误阀值时，将所述运行参数中的错误日志输入告警模型，所述告警模型是基于历史样本数据集构建的；
[0008]基于所述告警模型对所述错误日志进行处理，输出判定结果；
[0009]若所述判定结果为中断机制，基于所述中断机制中断所述子作业
。
[0010]可选的，还包括：
[0011]在基于所述中断机制中断所述子作业之后，基于所述子作业的运行参数和运行结果，确定是否中断所述批量作业的运行，所述运行结果是指基于采集到的所述子作业运行过程中每一条数据确定的
。
[0012]可选的，所述基于所述子作业的运行参数和运行结果，确定是否中断所述批量作业的运行，包括：
[0013]基于所述子作业的运行参数和运行结果，确定所述子作业是否为重要作业；
[0014]若是，确定中断所述批量作业的运行；
[0015]若否，跳过所述子作业
。
[0016]可选的，所述基于所述告警模型对所述错误日志进行处理，输出判定结果，包括：
[0017]基于所述告警模型提取所述错误日志中的告警因子，所述告警因子的数量为多个；
[0018]基于所述告警模型确定每一告警因子所属的告警标签，并统计每一种告警标签的数量；
[0019]若确定中断告警标签的数量大于预设阈值时，基于所述告警模型输出中断机制的
判定结果
。
[0020]可选的，所述确定每一告警因子所属的告警标签，包括：
[0021]基于所述告警模型将告警因子进行分类，确定每一告警因子对应的告警类型；
[0022]基于所述告警模型设置每一告警因子对应的告警类型对应的告警标签
。
[0023]可选的，若确定其他告警标签的数量大于预设阈值时，基于所述告警模型输出的需要其他判定的判定结果，将所述错误日志显示给用户；
[0024]获取用户基于所述错误日志触发的操作机制；
[0025]若确定所述触发的操作机制为中断机制，则基于所述中断机制中断所述子作业运行
。
[0026]可选的，基于历史样本数据集构建告警模型的过程包括：
[0027]获取历史样本数据集；
[0028]将所述历史样本数据集划分成训练日志集和测试日志集；
[0029]利用所述训练日志集对初始模型进行训练，得到训练完成的初始模型；
[0030]基于所述测试日志集对所述初始模型进行测试，确定测试通过的初始模型为告警模型
。
[0031]可选的，还包括：
[0032]针对每一子作业，记录所述子作业的执行情况数据；
[0033]若所述批量作业执行结束，基于每一子作业的执行情况数据，生成批量作业情况报表，并显示
。
[0034]本专利技术实施例第二方面示出了一种作业的检测装置，所述装置包括：
[0035]采集单元，用于针对每一子作业，采集所述子作业的运行参数；
[0036]输入单元，用于在确定所述运行参数中的失败记录数超过作业错误阀值时，将所述运行参数中的错误日志输入告警模型，所述告警模型是基于构建单元构建的；
[0037]所述告警模型，用于对所述错误日志进行处理，输出判定结果；
[0038]处理单元，用于若所述判定结果为中断机制，基于所述中断机制中断所述子作业
。
[0039]本专利技术实施例第三方面示出了一种计算机存储介质，所述存储介质包括存储程序，其中，在所述程序运行时控制所述存储介质所在设备执行如本专利技术实施例第一方面示出的作业的检测方法
。
[0040]基于上述本专利技术实施例提供的一种作业的检测方法
、
装置及计算机存储介质，所述方法包括：针对每一子作业，采集所述子作业的运行参数；在确定所述运行参数中的失败记录数超过作业错误阀值时，将所述运行参数中的错误日志输入告警模型，所述告警模型是基于历史样本数据集构建的；基于所述告警模型对所述错误日志进行处理，输出判定结果；若所述判定结果为中断机制，基于所述中断机制中断所述子作业
。
在本专利技术实施例中，在监控批量作业执行过程中，针对每一作业，通过告警模型识别是否中断子作业，从而提高作业处理的速度的问题
。
附图说明
[0041]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图
。
[0042]图1为本专利技术实施例示出的一种作业的检测方法的流程示意图；
[0043]图2为本专利技术实施例示出的作业的检测过程的架构示意图；
[0044]图3为本专利技术实施例示出的另一种作业的检测方法的流程示意图；
[0045]图4为本专利技术实施例示出的一种作业的检测装置的结构示意图
。
具体实施方式
[0046]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0047]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等
(
如果存在
)
是用于区别类似的对象，而不必用于描述特定的顺序或先后次序
。
应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种作业的检测方法，其特征在于，所述方法包括：针对每一子作业，采集所述子作业的运行参数；在确定所述运行参数中的失败记录数超过作业错误阀值时，将所述运行参数中的错误日志输入告警模型，所述告警模型是基于历史样本数据集构建的；基于所述告警模型对所述错误日志进行处理，输出判定结果；若所述判定结果为中断机制，基于所述中断机制中断所述子作业
。2.
根据权利要求1所述的方法，其特征在于，还包括：在基于所述中断机制中断所述子作业之后，基于所述子作业的运行参数和运行结果，确定是否中断所述批量作业的运行，所述运行结果是指基于采集到的所述子作业运行过程中每一条数据确定的
。3.
根据权利要求2所述的方法，其特征在于，所述基于所述子作业的运行参数和运行结果，确定是否中断所述批量作业的运行，包括：基于所述子作业的运行参数和运行结果，确定所述子作业是否为重要作业；若是，确定中断所述批量作业的运行；若否，跳过所述子作业
。4.
根据权利要求1所述的方法，其特征在于，所述基于所述告警模型对所述错误日志进行处理，输出判定结果，包括：基于所述告警模型提取所述错误日志中的告警因子，所述告警因子的数量为多个；基于所述告警模型确定每一告警因子所属的告警标签，并统计每一种告警标签的数量；若确定中断告警标签的数量大于预设阈值时，基于所述告警模型输出中断机制的判定结果
。5.
根据权利要求4所述的方法，其特征在于，所述确定每一告警因子所属的告警标签，包括：基于所述告警模型将告警因子进行分类，确定每一告警因子对应的告警类型；基于所述告警模型设置每一告警因子对应的告警类型对应的告警...

【专利技术属性】
技术研发人员：李小莉，郭锦帅，陈颖琪，韦英浩，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：