数据异常的预警方法、装置、电子设备及存储介质制造方法及图纸

本申请提供了一种数据异常的预警方法、装置、电子设备及存储介质，可应用于大数据领域。在该方法中，首先构建数据链路关系图谱。然后按照预设的时间周期，获取系统运行数据和作业执行数据。若检测到系统运行数据出现异常，则生成当前系统异常的预警信息。若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统。针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统。针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。本申请可以有效压缩生产事件异常处理时间，受影响系统根据预警信息及时进行响应，避免影响进一步扩大。扩大。扩大。

【技术实现步骤摘要】
数据异常的预警方法、装置、电子设备及存储介质


[0001]本申请涉及大数据
，尤其涉及一种数据异常的预警方法、装置、电子设备及存储介质。

技术介绍

[0002]银行业务条线多，数据口径繁杂，且不同口径的业务数据具有不同的时效性要求。后线数据处理系统(数据湖、数据仓库等)承担了大量的数据分析加工工作，作为全行数据加工出口，数据处理系统每日的批量时间长短、运行的稳定性对各后线业务系统，尤其是一些涉监管的高时效性要求的业务条线非常重要。
[0003]当数据湖或数仓系统等后线数据处理系统，在生产上因上游源数据未及时到达或批量运行问题导致无法按时为下游业务系统提供加工数据时，无法及时有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况。

技术实现思路

[0004]有鉴于此，本申请提供了一种数据异常的预警方法、装置、电子设备及存储介质，以解决现有技术中在出现数据异常时，无法及时有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况的问题。
[0005]为实现上述目的，本申请提供如下技术方案：
[0006]本申请第一方面公开了一种数据异常的预警方法，包括：
[0007]构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系；
[0008]按照预设的时间周期，获取系统运行数据和作业执行数据；
[0009]若检测到系统运行数据出现异常，则生成当前系统异常的预警信息；
[0010]若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统；
[0011]针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统；
[0012]针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。
[0013]可选的，上述的方法，所述构建数据链路关系图谱之后，还包括：
[0014]按照预设的时间周期，对所述数据链路关系图谱进行更新维护。
[0015]可选的，上述的方法，所述获取系统运行数据和作业执行数据之后，还包括：
[0016]对所述系统运行数据和作业执行数据进行数据预处理。
[0017]可选的，上述的方法，还包括：
[0018]若检测到所述异常作业已恢复正常，则向所述异常作业涉及的上游系统和下游系统分别发送异常解除的提示信息。
[0019]本申请第二方面公开了一种数据异常的预警装置，包括：
[0020]构建单元，用于构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系；
[0021]获取单元，用于按照预设的时间周期，获取系统运行数据和作业执行数据；
[0022]信息生成单元，用于若检测到系统运行数据出现异常，则生成当前系统异常的预警信息；
[0023]确定单元，用于若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统；
[0024]第一发送单元，用于针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统；
[0025]第二发送单元，用于针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。
[0026]可选的，上述的装置，还包括：
[0027]更新单元，用于按照预设的时间周期，对所述数据链路关系图谱进行更新维护。
[0028]可选的，上述的装置，还包括：
[0029]预处理单元，用于对所述系统运行数据和作业执行数据进行数据预处理。
[0030]可选的，上述的装置，还包括：
[0031]第三发送单元，用于若检测到所述异常作业已恢复正常，则向所述异常作业涉及的上游系统和下游系统分别发送异常解除的提示信息。
[0032]本申请第三方面公开了一种电子设备，包括：
[0033]一个或多个处理器；
[0034]存储装置，其上存储有一个或多个程序；
[0035]当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如本申请第一方面中任意一项所述的方法。
[0036]本申请第四方面公开了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如本申请第一方面中任意一项所述的方法。
[0037]从上述技术方案可以看出，本申请提供的一种数据异常的预警方法中，首先构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系。然后按照预设的时间周期，获取系统运行数据和作业执行数据。若检测到系统运行数据出现异常，则生成当前系统异常的预警信息。若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统。针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统。针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。由此可知，利用本申请的方法，当生产上出现异常时，可以根据数据链路关系图谱，对上游延时未到达数据进行督办提醒，同时主动向下游受影响链路系统进行预警信息推送，有效压缩生产事件事中分析时间，受影响系统或后续业务数据使用方根据预警信息及时进行响应，避免影响进一步扩大。解决了现有技术中在出现数据异常时，无法及时
有效的对异常事件的影响范围进行分析，主要依赖于数仓及下游业务系统开发人员的关联性分析，生产问题的响应速度慢，且可能存在分析不充分情况的问题。
附图说明
[0038]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0039]图1为本申请实施例公开的一种数据异常的预警方法的流程图；
[0040]图2为本申请另一实施例公开的一种数据异常的预警装置的示意图；
[0041]图3为本申请另一实施例公开的一种电子设备的示意图。
具体实施方式
[0042]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0043]在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据异常的预警方法，其特征在于，包括：构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系；按照预设的时间周期，获取系统运行数据和作业执行数据；若检测到系统运行数据出现异常，则生成当前系统异常的预警信息；若检测到作业执行数据出现异常，则基于所述数据链路关系图谱确定出异常作业涉及的上游系统和下游系统；针对每一个上游系统，生成数据催办信息，并将所述数据催办信息发送到所述上游系统；针对每一个下游系统，生成数据异常提示信息，并将所述数据异常提示信息发送到所述下游系统。2.根据权利要求1所述的方法，其特征在于，所述构建数据链路关系图谱之后，还包括：按照预设的时间周期，对所述数据链路关系图谱进行更新维护。3.根据权利要求1所述的方法，其特征在于，所述获取系统运行数据和作业执行数据之后，还包括：对所述系统运行数据和作业执行数据进行数据预处理。4.根据权利要求1所述的方法，其特征在于，还包括：若检测到所述异常作业已恢复正常，则向所述异常作业涉及的上游系统和下游系统分别发送异常解除的提示信息。5.一种数据异常的预警装置，其特征在于，包括：构建单元，用于构建数据链路关系图谱；其中，所述数据链路关系图谱用于表征上游源数据系统、数仓系统、下游数据消费系统之间的数据链路关系；获取单元，用于按照预设的时间周期，获取系统运...

【专利技术属性】
技术研发人员：张峤，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：