【技术实现步骤摘要】
一种任务异常告警方法及装置
[0001]本专利技术实施例涉及金融科技(Fintech)领域，尤其涉及一种任务异常告警方法及装置。
技术介绍
[0002]随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。在金融大数据领域，大数据的计算、分析和处理往往由多个任务处理单元组成，各个任务处理单元完成各自的数据处理逻辑。与一般的数据处理任务不同，这些大数据任务处理单元之间通常有着强依赖关系，这些依赖关系一般依托于数据的处理顺序，例如，上游任务完成输出数据，下游任务拿到上游任务输出的数据后才能继续执行。为了满足该要求，通常使用一个调度系统来运行和管理这些任务处理单元，该调度系统定时检查任务是否满足运行的要求，包括时间要求以及上游依赖要求。同时，调度系统在任务失败时需要进行一些特定的操作，比如重试或告警等。与一般的数据处理任务不同，在调度系统上执行的大数据任务需要依托于许多关联的大数据系统，各个系统在运行中不可避免会出现异常，那么就会导致任务...
【技术保护点】
【技术特征摘要】
1.一种任务异常告警方法，其特征在于，包括：在检测到针对任一任务组的异常检测请求时，从任务数据库中获取所述任务组的任务信息；所述任务信息用于指示所述任务组中k个第一任务各自的当前运行时间；通过所述k个第一任务各自的当前运行时间，构造出第一运行时间矩阵；从所述任务数据库中获取所述k个第一任务各自在第一预设历史时段内的历史运行时间，并通过所述k个第一任务各自在第一预设历史时段内的历史运行时间，构造出第二运行时间矩阵；对所述第二运行时间矩阵进行矩阵分解，确定出用于表征所述k个第一任务正常完成运行过程的第一运行时间估计值矩阵；确定所述第一运行时间矩阵与所述第一运行时间估计值矩阵之间的第一相关值，并确定所述第一相关值是否小于第一预设阈值；所述第一预设阈值为从基于多个第二任务各自在第二预设历史时段内的历史运行时间所确定的预设阈值区间范围内随机选取的任一预设阈值；在所述第一相关值小于所述第一预设阈值时，确定至少有一个第一任务存在运行超时异常，并对所述至少一个第一任务进行超时异常告警。2.如权利要求1所述的方法，其特征在于，所述通过所述k个第一任务各自的当前运行时间，构造出第一运行时间矩阵，包括：对所述k个第一任务各自的当前运行时间进行归一化处理，得到k个归一化后的当前运行时间；通过所述k个归一化后的当前运行时间，构造出所述第一运行时间矩阵；所述通过所述k个第一任务各自在第一预设历史时段内的历史运行时间，构造出第二运行时间矩阵，包括：针对所述第一预设历史时段内的每个子时段，以属于所述子时段的所述k个第一任务各自的历史运行时间作为矩阵列，并以所述k个第一任务作为矩阵行，构造出初始的第二运行时间矩阵；针对所述初始的第二运行时间矩阵中每列的k个矩阵值，对所述列的k个矩阵值进行归一化处理，得到所述列具有的k个归一化后的矩阵值；通过各列各自具有的k个归一化后的矩阵值，构造出所述第二运行时间矩阵。3.如权利要求1所述的方法，其特征在于，所述对所述第二运行时间矩阵进行矩阵分解，确定出用于表征所述k个第一任务正常完成运行过程的第一运行时间估计值矩阵，包括：通过奇异值分解算法对所述第二运行时间矩阵进行矩阵分解，确定出多个奇异值；将所述多个奇异值进行比对，确定出最大的奇异值，并将所述最大的奇异值对应的左奇异矩阵确定为所述第一运行时间估计值矩阵。4.如权利要求3所述的方法，其特征在于，所述通过奇异值分解算法对所述第二运行时间矩阵进行矩阵分解，确定出多个奇异值，包括：将所述第二运行时间矩阵转换为低秩矩阵和误差矩阵；所述误差矩阵中的各误差值均符合正态分布；通过所述奇异值分解算法对所述低秩矩阵进行矩阵分解，确定出所述多个奇异值。
5.如权利要求1所述的方法，其特征在于，所述k个第一任务为当前正在运行且未被标记为异常的任务；所述k个第一任务之间具有符合设定要求的相关性。6.如权利要求1所述的方法，其特征在于，通过下述方式确定所述预设阈值区间范围：依据蒙特卡罗仿真方法，将m个不相关且均符合正态分布的第二任务作为一个任务组，并设置多个不相同的第二预设阈值；获取m个第二任务各自在第二预设历史时段内的历史运行时间，并通过所述m个第二任务各自在所述第二预设历史时段内的历史运行时间，构造出第三运...
【专利技术属性】
技术研发人员：陈炳均，文海荣，王大飞，江旻，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。