一种基于数据治理平台的预警处理方法及相关设备技术

本发明专利技术涉及基架运维领域，具体公开了一种基于数据治理平台的预警处理方法及相关设备，所述方法包括：执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。本发明专利技术通过详细记录规则执行失败的原因，为后续的解决问题提供依据，减少处理问题的时间，提高效率。

An early warning processing method and related equipment based on data governance platform

The invention relates to the field of base frame operation and maintenance, and specifically discloses an early warning processing method and related equipment based on the data governance platform. The method includes: executing the rule task of the data governance platform, and detecting the execution result of the rule task of the data governance platform; generating an early warning event when the execution result of the rule task of the data governance platform is execution failure; generating The task failure related information associated with the alert event, and the alert information corresponding to the alert event is sent. The invention records the reasons for the failure of rule execution in detail, provides a basis for subsequent problem solving, reduces the time for problem processing, and improves efficiency.

【技术实现步骤摘要】
一种基于数据治理平台的预警处理方法及相关设备
本申请涉及基架运维领域，特别涉及一种基于数据治理平台的预警处理方法及相关设备。
技术介绍
目前的数据治理平台会针对所有的历史数据及增量数据进行数据质量的监控与治理，保证数据的完整性，一致性，及时性及准确性。同时对数据处理流程及各个业务环节进行监控并及时发现异常，处理异常，发现问题，跟踪问题，解决问题。并对整体的数据质量与业务环节提供数据质量分析报告。数据治理平台中包含监测预警页面，用于在规则执行失败时向用户显示预警信息，平台内配置的监控规则每天都会定时执行，规则执行失败就会触发一条预警事件，但是该预警事件仅在页面提示或者仅发送邮件进行预警的通知，而上述的提示及邮件通知并不包含具体任务失败的原因，由此导致平台无法记录问题产生的原因，在用户进行预警事件处理时无据可循，增加了用户的处理时间，效率低下。
技术实现思路
本申请的目的在于针对现有技术的不足，提供一种基于数据治理平台的预警处理方法及相关设备，通过详细记录规则执行失败的原因，为后续的解决问题提供依据，减少处理问题的时间，提高效率。为达到上述目的，本申请的技术方案提供一种基于数据治理平台的预警处理方法及相关设备。本申请公开了一种基于数据治理平台的预警处理方法，包括以下步骤：执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。较佳地，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：根据所述与所述预警事件相关联的任务失败相关信息处理所述预警事件，并当所述预警事件处理完毕后，删除所述预警事件对应的预警信息。较佳地，所述执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果，包括：获取数据治理平台的多项规则任务；定时执行所述数据治理平台的多项规则任务；检测所述数据治理平台的多项规则任务中每一项规则任务的执行结果。较佳地，所述当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件，包括：当所述数据治理平台的规则任务为多项且所述数据治理平台规则任务中至少有一项规则任务的执行结果为执行失败时，生成与所述执行失败的规则任务对应的预警事件。较佳地，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：当所述预警事件被处理时，根据所述预警事件查询所述任务失败相关信息；根据所述查询到的任务失败相关信息处理所述预警事件。较佳地，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：当所述预警事件被延时处理时，设置逾期期限并进行计时，并删除所述与所述延时处理预警事件对应的预警信息；当所述逾期期限超时后，再次发送与所述延迟处理预警事件对应的预警信息。较佳地，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：当多个预警事件被处理时，查询所述多个预警事件的任务失败相关信息；将所述多个预警事件的任务失败相关信息进行比对；当所述任务失败相关信息匹配时，对所述匹配的任务失败相关信息对应的预警事件进行批量处理。本申请还公开了一种基于数据治理平台的预警处理装置，所述装置包括：规则执行模块：设置为执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；预警事件生成模块：设置为当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；预警事件处理模块：设置为生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。本申请还公开了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述所述预警处理方法的步骤。本申请还公开了一种存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述预警处理方法的步骤。本申请的有益效果是：本申请通过详细记录规则执行失败的原因，为后续的解决问题提供依据，减少处理问题的时间，提高效率，并针对同一原因引发的失败规则进行批量处理，提高事件处理的效率。附图说明图1为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；图2为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；图3为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；图4为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；图5为本申请实施例的一种基于数据治理平台的预警处理方法的流程示意图；图6为本申请实施例的一种基于数据治理平台的预警处理装置结构示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。本申请实施例的一种基于数据治理平台的预警处理方法流程如图1所示，本实施例包括以下步骤：步骤s101，执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；具体的，所述数据治理平台是针对数据湖的所有历史数据及增量数据进行数据质量的监控与治理，保证数据的完整性、一致性、及时性及准确性。同时对数据湖的数据处理流程及各个业务环节进行监控并及时发现异常，处理异常，发现问题，跟踪问题，解决问题，并对整体的数据质量与业务环节提供数据质量分析报告。具体的，所述规则任务是对所述数据治理平台的监控制定的规则，所述的规则格式包括逻辑数据表达式，例如A>B；也可以由多个表达式通过逻辑运算符进行逻辑运算，例如A>B&&B<C&&C>E；但是不支持一个表达式同时进行多个逻辑运算，例如A>B<C。具体的，所述规则的表达式构成包括常量、规则项、运算符以及数学函数。其中，常量指的是数字常量，如124.5，也支持科学计数法，如1.25E9；规则项包括一些聚合函数，比如SUM、COUNT、AVG及MAX等，但是这些聚合函数只提供给规则项的结果使用；规则本文档来自技高网...

【技术保护点】
1.一种基于数据治理平台的预警处理方法，其特征在于，包括以下步骤：/n执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；/n当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；/n生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。/n

【技术特征摘要】
1.一种基于数据治理平台的预警处理方法，其特征在于，包括以下步骤：
执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果；
当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件；
生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息。


2.如权利要求1所述的基于数据治理平台的预警处理方法，其特征在于，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：
根据所述与所述预警事件相关联的任务失败相关信息处理所述预警事件，并当所述预警事件处理完毕后，删除所述预警事件对应的预警信息。


3.如权利要求1所述的基于数据治理平台的预警处理方法，其特征在于，所述执行数据治理平台的规则任务，并检测所述数据治理平台规则任务的执行结果，包括：
获取数据治理平台的多项规则任务；
定时执行所述数据治理平台的多项规则任务；
检测所述数据治理平台的多项规则任务中每一项规则任务的执行结果。


4.如权利要求1所述的基于数据治理平台的预警处理方法，其特征在于，所述当所述数据治理平台规则任务的执行结果为执行失败时，生成预警事件，包括：
当所述数据治理平台的规则任务为多项且所述数据治理平台规则任务中至少有一项规则任务的执行结果为执行失败时，生成与所述执行失败的规则任务对应的预警事件。


5.如权利要求1所述的基于数据治理平台的预警处理方法，其特征在于，所述生成与所述预警事件相关联的任务失败相关信息，并发送与预警事件对应的预警信息之后，包括：
当所述预警事件被处理时，根据所述预警事件查询所述任务失败相关信息；
根据所述查询到的任务失败相关信息处理所述预警事件。


6.如...

【专利技术属性】
技术研发人员：李诗诗，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44