实时业务监控方法、装置、电子设备、存储介质制造方法及图纸

本发明专利技术提供一种实时业务监控方法、装置、电子设备、存储介质，实时业务监控方法包括：获取数据库日志以生成第一数据快照；获取业务日志以生成第二数据快照；获取接口拦截数据以生成第三数据快照；通过第一规则引擎将所述第一数据快照、第二数据快照以及第三数据快照识别为不同业务事件类型的事件；通过第二规则引擎，将不同业务事件类型的事件聚合，以生成待执行任务；以及执行所述待执行任务以进行数据检查。本发明专利技术提供的方法及装置实现实时业务监控，且无需依赖业务系统。

Real time business monitoring methods, devices, electronic equipment and storage media

【技术实现步骤摘要】
实时业务监控方法、装置、电子设备、存储介质
本专利技术涉及计算机
，尤其涉及一种实时业务监控方法、装置、电子设备、存储介质。
技术介绍
随着互联网及信息技术的发展，通过线上系统处理业务数据的方式被广泛应用。然而，线上系统由于系统bug、网络故障、设备宕机等种种可能的原因，难免会出现一些不一致的业务数据。在常规的解决方案中，通常会通过T+1日的对账、定时扫描补偿等方式保障业务数据的最终一致性。但是，在实际应用中，上述方案仍然不能保证发现和解决所有的业务数据不一致的问题，而且往往时效性比较差。对T+1的对账需要第二天才能发现问题，扫描补偿也很难覆盖所有的问题场景。由此可见，传统的解决方案中，基本都是对可预期存在的问题的低效的检查处理方案，难以及时的发现和告警问题，对于预期之外可能存在的问题大多也是束手无策。侧重点在对可预期的问题的及时修复上。为了解决这样的问题，BCP(BusinessCheckPlatform)系统应运而生。该方案中，系统通过接收数据库变更消息驱动规则脚本完成业务审计，并反馈审计结果，及时发现和解决线上的业务不一致的故障。然而，BCP系统收到实时数据变更消息后，会反查业务系统，获取对账数据，然后再脚本中完成业务审计对账。对业务系统有依赖，且大大增加了业务系统的每秒查询率(QPS)，也对业务系统带来一定的开发工作量，带来了新的不稳定因素。另一方面。事后的接口查询本身得到的并不是业务处理过程中的快照，限制了审计核查的能力，难以实现完整的业务生命周期的监控检查。
技术实现思路
本专利技术为了克服上述相关技术存在的缺陷，提供一种实时业务监控方法、装置、电子设备、存储介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。根据本专利技术的一个方面，提供一种实时业务监控方法，包括：获取数据库日志以生成第一数据快照；获取业务日志以生成第二数据快照；获取接口拦截数据以生成第三数据快照；通过第一规则引擎将所述第一数据快照、第二数据快照以及第三数据快照识别为不同业务事件类型的事件；通过第二规则引擎，将不同业务事件类型的事件聚合，以生成待执行任务；以及执行所述待执行任务以进行数据检查。在本专利技术的一些实施例中，所述第一规则引擎中设有各业务事件类型的第一表达式规则，所述通过第一规则引擎将所述第一数据快照、第二数据快照以及第三数据快照识别为不同业务事件类型的事件包括：对所述第一数据快照、第二数据快照以及第三数据快照分别执行各业务事件类型的第一表达式规则，以将第一数据快照、第二数据快照以及第三数据快照识别为不同业务事件类型的事件。在本专利技术的一些实施例中，所述第二规则引擎中设有至少一用于聚合的第二表达式规则，所述通过第二规则引擎，将不同业务事件类型的事件聚合，以生成待执行任务包括：对不同业务事件类型的事件的字段执行所述第二表达式规则，以将不同业务事件类型的事件聚合，生成待执行任务。在本专利技术的一些实施例中，若待聚合的业务事件类型大于等于3种，且所述第二规则引擎中设有多个第二表达式规则，各所述第二表达式规则使得该多个待聚合的业务事件类型两两关联，则所述通过第二规则引擎，将不同业务事件类型的事件聚合，以生成待执行任务包括：自待聚合的业务事件类型中选取两个待聚合的业务事件类型的事件进行聚合，以生成待执行任务；判断是否存在还未聚合的业务事件类型的事件；若是，则将所述待执行任务作为抽象业务事件类型的事件，并将该抽象业务事件类型的事件作为待聚合的业务事件类型的事件，并迭代执行事件的聚合；若否，则结束事件的聚合。在本专利技术的一些实施例中，所述执行所述待执行任务以进行数据检查包括：依据所述事件的聚合的迭代，反向执行所述待执行任务以进行数据检查。在本专利技术的一些实施例中，所述执行所述待执行任务以进行数据检查包括：通过脚本，配置第三表达式规则，依据所述第三表达式规则执行所述待执行任务以进行数据检查。在本专利技术的一些实施例中，所述接口拦截数据包括rest接口和/或rpc接口调用拦截器的出入参数据。根据本专利技术的又一方面，还提供一种实时业务监控装置，包括：第一获取模块，用于获取数据库日志以生成第一数据快照；第二获取模块，用于获取业务日志以生成第二数据快照；第三获取模块，用于获取接口拦截数据以生成第三数据快照；识别模块，用于通过第一规则引擎将所述第一数据快照、第二数据快照以及第三数据快照识别为不同业务事件类型的事件；聚合模块，用于通过第二规则引擎，将不同业务事件类型的事件聚合，以生成待执行任务；以及执行模块，用于执行所述待执行任务以进行数据检查。根据本专利技术的又一方面，还提供一种电子设备，所述电子设备包括：处理器；存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。根据本专利技术的又一方面，还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上所述的步骤。相比现有技术，本专利技术的优势在于：通过多个数据来源获得大量数据快照，从而可以基于数据快照的事件类型识别及事件聚类生成用以进行数据检查的待执行任务，由此，一方面，基于数据快照实现实时数据对账，无需依赖业务系统，且不会对业务系统到来额外的性能压力，对业务系统无依赖、无侵入，降低了业务系统接入监控的风险和难度；另一方面，基于数据快照的监控检查，可以实现业务完整生命周期的监控检查。附图说明通过参照附图详细描述其示例实施方式，本专利技术的上述和其它特征及优点将变得更加明显。图1示出了根据本专利技术实施例的实时业务监控方法的流程图。图2示出了根据本专利技术具体实施例的获取第一数据快照的示意图。图3示出了根据本专利技术具体实施例的获取第二数据快照的示意图。图4示出了根据本专利技术具体实施例的业务事件类型大于两种的情况下，事件聚合的示意图。图5示出了根据本专利技术实施例的实时业务监控装置的模块图。图6示意性示出本专利技术示例性实施例中一种计算机可读存储介质示意图。图7示意性示出本专利技术示例性实施例中一种电子设备示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本专利技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，附图仅为本专利技术的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体本文档来自技高网...

【技术保护点】
1.一种实时业务监控方法，其特征在于，包括：/n获取数据库日志以生成第一数据快照；/n获取业务日志以生成第二数据快照；/n获取接口拦截数据以生成第三数据快照；/n通过第一规则引擎将所述第一数据快照、第二数据快照以及第三数据快照识别为不同业务事件类型的事件；/n通过第二规则引擎，将不同业务事件类型的事件聚合，以生成待执行任务；以及/n执行所述待执行任务以进行数据检查。/n

【技术特征摘要】
1.一种实时业务监控方法，其特征在于，包括：
获取数据库日志以生成第一数据快照；
获取业务日志以生成第二数据快照；
获取接口拦截数据以生成第三数据快照；
通过第一规则引擎将所述第一数据快照、第二数据快照以及第三数据快照识别为不同业务事件类型的事件；
通过第二规则引擎，将不同业务事件类型的事件聚合，以生成待执行任务；以及
执行所述待执行任务以进行数据检查。


2.如权利要求1所述的实时业务监控方法，其特征在于，所述第一规则引擎中设有各业务事件类型的第一表达式规则，所述通过第一规则引擎将所述第一数据快照、第二数据快照以及第三数据快照识别为不同业务事件类型的事件包括：
对所述第一数据快照、第二数据快照以及第三数据快照分别执行各业务事件类型的第一表达式规则，以将第一数据快照、第二数据快照以及第三数据快照识别为不同业务事件类型的事件。


3.如权利要求2所述的实时业务监控方法，其特征在于，所述第二规则引擎中设有至少一用于聚合的第二表达式规则，所述通过第二规则引擎，将不同业务事件类型的事件聚合，以生成待执行任务包括：
对不同业务事件类型的事件的字段执行所述第二表达式规则，以将不同业务事件类型的事件聚合，生成待执行任务。


4.如权利要求3所述的实时业务监控方法，其特征在于，若待聚合的业务事件类型大于等于3种，且所述第二规则引擎中设有多个第二表达式规则，各所述第二表达式规则使得该多个待聚合的业务事件类型两两关联，则所述通过第二规则引擎，将不同业务事件类型的事件聚合，以生成待执行任务包括：
自待聚合的业务事件类型中选取两个待聚合的业务事件类型的事件进行聚合，以生成待执行任务；
判断是否存在还未聚合的业务事件类型的事件；
若是，则将所述待执行任务作为抽象业务...

【专利技术属性】
技术研发人员：王瀚，
申请(专利权)人：江苏满运软件科技有限公司，
类型：发明
国别省市：江苏;32