基于flink的实时聚合报表方法、电子设备及可读存储介质技术

本发明专利技术公开了一种基于flink的实时聚合报表方法、电子设备及可读存储介质，涉及大数据技术领域，该方法包括以下的步骤：S1、初始化报表数据；S2、实时同步数据库的明细数据；S3、日报表数据的实时处理；S4、月报表数据的实时处理；S5、年报表的实时处理；本发明专利技术的有益效果是：能够实时响应运营日、月、年报表数据请求，满足高并发场景使用。

Real time aggregate report method, electronic equipment and readable storage medium based on Flink

【技术实现步骤摘要】
基于flink的实时聚合报表方法、电子设备及可读存储介质
本专利技术涉及大数据
，更具体的说，本专利技术涉及一种基于flink的实时聚合报表方法、电子设备及可读存储介质。
技术介绍
现有技术中，对于实时数据的需求越来越多，多个独立的实时任务会造成很大的集群资源的浪费，付出较高的开发运维成本，因此需要一个统一的实时数据仓库来提高任务扩展性，节约集群资源。对于企业运营需要使用的业务日、月、年报，目前可使用的技术有：(1)采用日常的跑批处理机制，利用Shell脚本与传统型数据库交互即可实现；(2)使用以Hadoop为代表的大数据离线处理机制实现。上述两种方式均存在缺陷：第一种方式，实现简单，对大数据量的跑批处理会短时间内增加传统型型数据库的I/O压力，甚至耗尽数据库资源，出现宕机；第二种方式，使用了大数据的Hadoop技术，可分解短时间的跑批处理压力，但报表的生成时效性较低，且若报表生成后数据有变动，则不支持即时处理，需要重新生成数据方可解决；同时，对已生成的报表若需要调整，则需重新开发。r>
技术实现思路
...

【技术保护点】
1.一种基于flink的实时聚合报表方法，其特征在于，该方法包括以下的步骤：/nS1、初始化报表数据，初始化日报表、月报表以及年报表的数据，并保存在MongoDB数据库对应的明细表中；/nS2、实时同步数据库的明细数据，定时拉取明细表中的数据，将需要的字段数据发送到Kafka；/nS3、日报表数据的实时处理，通过flink实时聚合Kafka上的数据，调整聚合的时间窗口，将聚合处理后的数据存储到MongoDB数据库的日报表中；/n在flink中将新增、删除以及更新的数据分成不同的stream流进行处理，再将处理的结果sink到相应的日报表中；/nS4、月报表数据的实时处理，在将数据落地到日报表之...

【技术特征摘要】
1.一种基于flink的实时聚合报表方法，其特征在于，该方法包括以下的步骤：
S1、初始化报表数据，初始化日报表、月报表以及年报表的数据，并保存在MongoDB数据库对应的明细表中；
S2、实时同步数据库的明细数据，定时拉取明细表中的数据，将需要的字段数据发送到Kafka；
S3、日报表数据的实时处理，通过flink实时聚合Kafka上的数据，调整聚合的时间窗口，将聚合处理后的数据存储到MongoDB数据库的日报表中；
在flink中将新增、删除以及更新的数据分成不同的stream流进行处理，再将处理的结果sink到相应的日报表中；
S4、月报表数据的实时处理，在将数据落地到日报表之前会将所有的更新、删除的数据转换成增加的数据，在月报表数据处理时在flink消费Kafka数据只有增加数据，将时间窗口内具体的数据直接累加到已有的值中，最后落地到MongoDB数据库相应的月报表中；
S5、年报表的实时处理，在将数据落地到月报表之前将所有的月报表数据发送到kafka，在年报表数据处理时flink消费kafka数据时只有增加数据，将时间窗口内聚合的数据直接累加到已有的值中，最后落地到mongodb数据库相应的年报表中。


2.根据权利要求1所述的一种基于flink的实时聚合报表方法，其特征在于：所述的步骤S2中，通过定时程序定时拉取明细表的数据。


3.根据权利要求1所述的一种基于flink的实时聚合报表方法，其特征在于：所述的步骤S2中，根据业务需求将需要的字段数据发送到Kafka。


...

【专利技术属性】
技术研发人员：余丽玲，刘跃红，管正爽，曹浩，
申请(专利权)人：银盛支付服务股份有限公司，
类型：发明
国别省市：广东;44