一种基于风险控制的离线业务监控方法及系统技术方案

本发明专利技术涉及任务处理技术领域，尤其是一种基于风险控制的离线业务监控方法及系统，所述方法包括：S100，获取待处理离线任务；S200，根据分批编号对各待处理离线任务进行分类，并存储至预处理数据表；S300，提取预处理数据表中分批编号相同的待处理离线任务，对提取的各待处理离线任务进行多线程处理，生成若干线程结果，并分析各线程结果的有效性；S400，获取分批编号相同的各历史离线任务对应的线程结果的有效性；S500，根据各待处理离线任务及历史离线任务对应的线程结果的有效性，分析数据处理成功率；S700，分析数据处理成功率是否低于成功率异常指标阈值，若是，则生成成功率异常预警。采用本方案，能够在对数据进行监控的同时，对线程进行同步监控。对线程进行同步监控。对线程进行同步监控。

【技术实现步骤摘要】
一种基于风险控制的离线业务监控方法及系统


[0001]本专利技术涉及任务处理
，特别涉及一种基于风险控制的离线业务监控方法及系统。

技术介绍

[0002]业务开展过程中，后期的数据动态评定、客户的持续跟进维护，通常都是在后台对数据进行采集与分析的。当分析结果存在异常时，会及时的发出提示，以便相关人员进行人工校验，从而尽快发现业务风险。如两家公司长期合作过程中，需要持续对合作方的运营情况进行分析，从而判断业务执行是否可能受阻。虽然，持续的后台数据采集与分析能够在后台自动生成数据分析结果，并提醒管理人员异常情况，但当数据分析结果本身有误时很难发现。
[0003]现有针对后台离线业务的运行状态监测，通常是通过“心跳检测”获得任务的运行状态，具体的方法为向所有任务所在的线程发送“心跳包”，心跳包用来检测线程是否正常运行，在一定时间内若收到任务所在线程的回应，说明该线程正常运行，则该线程所执行的任务的运行状态为正常，若没有，则说明该线程处于异常状态，该线程所执行的任务的运行状态为异常。
[0004]上述方法只能判断任务是否在正常运行，仍然无法判断任务运行结果是否有误。等待人工发现任务运行存在异常的时候，已经存在较大的时延，后期还需不断向上追溯，排查历史数据中最初出现异常的时间节点，任务量大且执行复杂。

技术实现思路

[0005]本专利技术提供了一种基于风险控制的离线业务监控方法及系统，根据持续输出的线程结果，对线程本身的执行情况进行分析，从而在相应线程本身出现问题时，及时发现问题解决问题，防止输出的线程结果一直有误但未被发现；在对数据进行监控的同时，对线程进行同步监控。
[0006]本专利技术提供的基础方案一：
[0007]一种基于风险控制的离线业务监控方法，包括以下步骤：
[0008]S100，获取待处理离线任务，所述待处理离线任务包括离线数据和分批编号；
[0009]S200，根据分批编号对各待处理离线任务进行分类，并存储至预处理数据表；
[0010]S300，提取预处理数据表中分批编号相同的待处理离线任务，对提取的各待处理离线任务进行多线程处理，生成若干线程结果，并分析各线程结果的有效性；
[0011]S400，获取分批编号相同的各历史离线任务对应的线程结果的有效性；
[0012]S500，根据各待处理离线任务及历史离线任务对应的线程结果的有效性，分析数据处理成功率；
[0013]S700，分析数据处理成功率是否低于成功率异常指标阈值，若是，则生成成功率异常预警。
[0014]进一步，还包括：
[0015]S600，获取S300中处理各待处理离线任务的实际时长，并根据各待处理离线任务对应的实际时长，分析实际时长存在异常的待处理离线任务占比，生成时长异常占比；
[0016]S700还包括，分析时长异常占比是否大于时长异常指标阈值，若是，则生成时长异常预警。
[0017]进一步，S700中，若数据处理成功率低于成功率异常指标阈值，且时长异常占比大于时长异常指标阈值，则停止相应分批编号对应的任务处理。
[0018]进一步，所述待处理离线任务还包括任务编号，用于标识并区分各离线任务。
[0019]进一步，还包括：
[0020]S800，获取处理各待处理离线任务的任务线程，所述任务线程包括若干子线程；
[0021]S600还包括，获取处理各待处理离线任务中各子线程的分布时长，并分析分布时长异常率最高的子线程；
[0022]S900，修改分布时长异常率最高的子线程，并重新启动该分批编号的任务处理。
[0023]本专利技术提供的基础方案二：
[0024]一种基于风险控制的离线业务监控系统，包括离线任务获取模块、离线任务分类模块、多线程处理模块、有效性获取模块、成功率分析模块和异常分析模块；
[0025]所述离线任务获取模块，用于获取待处理离线任务，所述待处理离线任务包括离线数据和分批编号；
[0026]所述离线任务分类模块，用于根据分批编号对各待处理离线任务进行分类，并存储至预处理数据表；
[0027]所述多线程处理模块，用于提取预处理数据表中分批编号相同的待处理离线任务，对提取的各待处理离线任务进行多线程处理，生成若干线程结果，并分析各线程结果的有效性；
[0028]所述有效性获取模块，用于获取分批编号相同的各历史离线任务对应的线程结果的有效性；
[0029]所述成功率分析模块，用于根据各待处理离线任务及历史离线任务对应的线程结果的有效性，分析数据处理成功率；
[0030]所述异常分析模块，分析数据处理成功率是否低于成功率异常指标阈值，若是，则生成成功率异常预警。
[0031]进一步，还包括时长分析模块；
[0032]所述时长分析模块，用于获取处理各待处理离线任务的实际时长，并根据各待处理离线任务对应的实际时长，分析实际时长存在异常的待处理离线任务占比，生成时长异常占比；
[0033]所述异常分析模块，还用于分析时长异常占比是否大于时长异常指标阈值，若是，则生成时长异常预警。
[0034]进一步，所述异常分析模块，还用于若数据处理成功率低于成功率异常指标阈值，且时长异常占比大于时长异常指标阈值，则停止相应分批编号对应的任务处理。
[0035]进一步，所述待处理离线任务还包括任务编号，用于标识并区分各离线任务。
[0036]进一步，还包括任务线程获取模块和子线程修改模块；
[0037]所述任务线程获取模块，用于获取处理各待处理离线任务的任务线程，所述任务线程包括若干子线程；
[0038]所述时长分析模块，还用于获取处理各待处理离线任务中各子线程的分布时长，并分析分布时长异常率最高的子线程；
[0039]所述子线程修改模块，用于修改分布时长异常率最高的子线程，并重新启动该分批编号的任务处理。
[0040]本专利技术的原理及优点在于：
[0041]1、对待处理离线任务按照分批编号进行分类，便于对同类型数据处理任务进行同步处理；对分批编号相同的待处理离线任务进行多线程处理，生成各待处理离线任务对应的线程结果，并分析各线程结果的有效性，具体的，可以通过设置预设正常值范围或其他预设正常值条件，进行有效性分析；为防止当前批次确有较多数据存在异常，影响线程运行分析结果，故调用历史离线任务对应的线程结果的有效性，结合后分析数据处理成功率，当数据处理成功率低于成功率异常指标阈值，表示相对于待处理离线任务，任务处理线程本身存在异常的可能性更大，故此时生成成功率异常预警。
[0042]2、根据各待处理离线任务对应的实际时长，分析实际时长存在异常的待处理离线任务占比，生成时长异常占比。若处理任务的时长明显过短或过长，说明可能某子线程出现了跳跃或卡顿，故在时长异常占比过高时，生成时长异常预警。
[0043]3、在数据处理成功率低于成功率异常指标阈值，且时长异常占比大于时长异常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于风险控制的离线业务监控方法，其特征在于：包括以下步骤：S100，获取待处理离线任务，所述待处理离线任务包括离线数据和分批编号；S200，根据分批编号对各待处理离线任务进行分类，并存储至预处理数据表；S300，提取预处理数据表中分批编号相同的待处理离线任务，对提取的各待处理离线任务进行多线程处理，生成若干线程结果，并分析各线程结果的有效性；S400，获取分批编号相同的各历史离线任务对应的线程结果的有效性；S500，根据各待处理离线任务及历史离线任务对应的线程结果的有效性，分析数据处理成功率；S700，分析数据处理成功率是否低于成功率异常指标阈值，若是，则生成成功率异常预警。2.根据权利要求1所述的基于风险控制的离线业务监控方法，其特征在于：还包括：S600，获取S300中处理各待处理离线任务的实际时长，并根据各待处理离线任务对应的实际时长，分析实际时长存在异常的待处理离线任务占比，生成时长异常占比；S700还包括，分析时长异常占比是否大于时长异常指标阈值，若是，则生成时长异常预警。3.根据权利要求2所述的基于风险控制的离线业务监控方法，其特征在于：S700中，若数据处理成功率低于成功率异常指标阈值，且时长异常占比大于时长异常指标阈值，则停止相应分批编号对应的任务处理。4.根据权利要求1所述的基于风险控制的离线业务监控方法，其特征在于：所述待处理离线任务还包括任务编号，用于标识并区分各离线任务。5.根据权利要求3所述的基于风险控制的离线业务监控方法，其特征在于：还包括：S800，获取处理各待处理离线任务的任务线程，所述任务线程包括若干子线程；S600还包括，获取处理各待处理离线任务中各子线程的分布时长，并分析分布时长异常率最高的子线程；S900，修改分布时长异常率最高的子线程，并重新启动该分批编号的任务处理。6.一种基于风险控制的离线业务监控系统，其特征在于：包括离线任务获取模块、离线任务分类模块、多线程处理模块、有效性获取模块、成功率分析模块和异常分析模块...

【专利技术属性】
技术研发人员：李河霖，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：