规则计算方法、设备及存储介质技术

技术编号:44529136 阅读:11 留言:0更新日期:2025-03-07 13:19
本申请公开了一种规则计算方法、设备及存储介质,属于数据处理技术领域。该方法包括:接收待处理速率,确定待处理数据的数据接收速率,以及指标数据库中实时数据的处理速率,在数据接收速率大于处理速率时,将待处理数据中的实时数据传输至指标数据库,并将待处理数据的积压数据传输至通用数据库,通过规则计算,对通用数据库中的积压数据进行批处理,并对指标数据库中的实时数据进行流处理,将批处理结果和流处理结果写入规则结果表,生成规则计算结果。本申请通过批流结合的数据处理方式,在进行流处理的规则计算的同时,采用批处理的方式对积压数据进行规则计算,从而降低积压数据的规则计算时间,避免数据规则计算的延迟过长。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及一种规则计算方法、设备及存储介质


技术介绍

1、规则计算过程中,基于批流一体的数据处理方式,规则计算可以在流处理对数据进行准实时地连续处理的同时,通过批处理的方式对积压数据进行批量处理。

2、在相关技术中,规则计算过程通常是在流处理后,获取流处理未能基础处理的数据,作为积压数据进行批处理。而在数据量较大的情况下,积压数据的计算通常存在一定的滞后,导致数据的规则计算的延迟较高。

3、上述内容仅用于辅助理解本申请的技术方案,并不代表承认上述内容是现有技术。


技术实现思路

1、本申请的主要目的在于提供一种规则计算方法、设备及存储介质,旨在解决数据量过大时,数据的规则计算的延迟较高的技术问题。

2、为实现上述目的,本申请提供一种规则计算方法,所述的方法包括以下步骤:

3、接收待处理数据,确定所述待处理数据的数据接收速率,以及所述指标数据库中实时数据的处理速率;

4、在所述数据接收速率大于所述处理速率时,将待处理数据中的所述实时数本文档来自技高网...

【技术保护点】

1.一种规则计算方法,其特征在于,所述的方法包括以下步骤:

2.如权利要求1所述的方法,其特征在于,所述在所述数据接收速率大于所述处理速率时,将待处理数据中的所述实时数据传输至所述指标数据库,并将所述待处理数据的积压数据传输至通用数据库的步骤之前,还包括:

3.如权利要求1所述的方法,其特征在于,所述在所述数据接收速率大于所述处理速率时,将待处理数据中的所述实时数据传输至所述指标数据库,并将所述待处理数据的积压数据传输至通用数据库的步骤包括:

4.如权利要求3所述的方法,其特征在于,所述通过规则引擎,对所述通用数据库中的所述积压数据进行批处理,并对指标...

【技术特征摘要】

1.一种规则计算方法,其特征在于,所述的方法包括以下步骤:

2.如权利要求1所述的方法,其特征在于,所述在所述数据接收速率大于所述处理速率时,将待处理数据中的所述实时数据传输至所述指标数据库,并将所述待处理数据的积压数据传输至通用数据库的步骤之前,还包括:

3.如权利要求1所述的方法,其特征在于,所述在所述数据接收速率大于所述处理速率时,将待处理数据中的所述实时数据传输至所述指标数据库,并将所述待处理数据的积压数据传输至通用数据库的步骤包括:

4.如权利要求3所述的方法,其特征在于,所述通过规则引擎,对所述通用数据库中的所述积压数据进行批处理,并对指标数据库中的所述实时数据进行流处理的步骤包括:

5.如权利要求4所述的方法,其特征在于,所述通过配置信息表,确定所述实时数据的规则编号,并根据所述规则编号,查询所述分布式中间表,确定所述实时数据的流处理结果的步骤包括:

6.如权利要求1所述的方法,其特征在...

【专利技术属性】
技术研发人员:罗洋郭维熊乾超王雪萍
申请(专利权)人:招商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1