【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种数据聚合处理方法、装置、设备及存储介质。
技术介绍
1、随着云计算与互联网的快速普及，企业的各项业务逐渐进行了智能化改造，同时也产生了大量的业务相关数据。如何实时并且高效、稳定的处理这些数据，将其转换为有业务意义的数据指标成为了企业需要解决的问题。正常来说，一般都是上游应用将业务数据直接通过kafka发送给下游。这种方式只能由上游应用对业务数据进行进一步的聚合处理，这样会在上游应用中增加相关处理逻辑，影响上游应用性能。并且下游每需要一种新的数据时，都需要改动上游应用，在对应的业务逻辑中插入相关数据采集与处理埋点。这需要开发测试人员花费时间和精力进行开发测试工作，并且不能实时响应下游的需求，需要等待较长时间才能投产开始发送数据。
2、如果使用中间应用直接接收上游应用原始数据，经过中间应用处理后，再发送给下游这种方式，可以大大简化上游应用的开发工作，并且不影响上游应用的性能，通过在中间应用预留相关配置功能，通过在中间应用配置处理逻辑，即可快速响应下游需求。
3、但是这种方式会产生以下问题，上游直接通过kafka发送原始数据，原始数据相对于处理后的最终数据，其数据量会大大增加，其差距可能会高达数个数量级。这对中间应用的数据处理能力提出了极大的需求，如果中间应用设计不佳，可能会导致数据延迟、丢失等问题。此外，由于增加了一层应用，如果中间应用中的节点失效，将会导致下游不能正常的收到数据，降低了系统的鲁棒性，因此需要保证中间应用的可用性。
技术实现思路<
1、本专利技术的主要目的在于提供一种数据聚合处理方法、装置、设备及存储介质，旨在解决现有技术中间应用转发处理上游应用的大量数据时容易产生数据延迟、丢失的问题的技术问题。
2、为实现上述目的，本专利技术提供了一种数据聚合处理方法，所述方法包括以下步骤：
3、获取各个上游应用的原始业务数据，将原始业务数据进行分区，得到多个分区数据；
4、将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据；
5、将所述多个参考业务数据汇聚至二层节点，通过所述二层节点将所述多个参考业务数据进行聚合，得到聚合数据；
6、将所述聚合数据发送至下游应用。
7、可选地，所述将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据之后，还包括：
8、查询topic数据处理表，得到目标处理节点的正在处理数据和可处理数据总量，所述目标处理节点是所述一层节点中的任意一个；
9、根据所述目标处理节点的正在处理数据和可处理数据总量判断所述目标处理节点是否存在空余数据处理能力；
10、在所述目标处理节点存在空余数据处理能力时，查询topic待处理数据表，获取topic待处理数据表中满足预设要求的待处理数据，将所述待处理数据分配至所述目标处理节点，所述topic待处理数据表包括各个topic的数据信息，所述数据信息包括待处理数据、分区个数以及处理结点总个数。
11、可选地，所述在所述目标处理节点存在空余数据处理能力时，查询topic待处理数据表，获取topic待处理数据表中满足预设要求的待处理数据，将所述待处理数据分配至所述目标处理节点，包括：
12、在所述目标处理节点存在空余数据处理能力时，查询topic待处理数据表，判断topic待处理数据表中待处理数据的topic的总分区个数是否大于所述待处理数据的topic的处理节点总个数；
13、若所述分区个数大于总处理节点个数，则查询topic数据处理表，判断所述目标处理节点是否处理所述待处理数据的topic的分区数据；
14、若所述目标处理节点没有处理所述待处理数据的topic的分区数据，则将所述待处理数据分配至所述目标处理节点。
15、可选地，所述将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据之后，还包括：
16、查询topic数据处理表，根据查询结果判断所述目标节点当前线程的topic是否为待处理topic；
17、若所述目标节点当前线程的topic是待处理topic，则判断目标处理节点当前线程的topic处理记录是否存在，若不存在，则停止处理目标处理节点的当前线程的topic待处理数据；
18、若存在，则更新目标处理节点的节点心跳，更新目标处理节点所在的topic的总分区数。
19、可选地，所述将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据之后，还包括：
20、获取目标处理节点的心跳记录，根据所述心跳记录判断所述目标处理节点是否心跳超时；
21、若所述目标处理节点心跳超时，则删除所述目标处理节点的待处理数据的处理记录；
22、获取目标处理节点对应的上游应用的总分区数，判断所述总分区数是否小于一层节点总数，若所述总分区数小于一层节点总数，则随机删除n个目标处理节点的数据处理记录。
23、可选地，所述将所述多个参考业务数据汇聚至二层节点，通过所述二层节点将所述多个参考业务数据进行聚合，得到聚合数据之后，还包括：
24、获取目标聚合节点的正在处理数据和可处理数据总量，所述目标聚合节点是所述二层节点中的任意一个；
25、根据所述目标聚合节点的正在处理数据和可处理数据总量判断所述目标聚合节点是否存在空余数据聚合能力；
26、在所述目标处理节点存在空余数据处理能力时，查询topic数据聚合表，获取topic数据聚合表中满足预设要求的待聚合数据，将所述待聚合数据分配至所述目标聚合节点，所述topic数据聚合表包括各个topic的数据信息，所述数据信息包括待处理数据、处理结点总个数。
27、可选地，所述将所述多个参考业务数据汇聚至二层节点，通过所述二层节点将所述多个参考业务数据进行聚合，得到聚合数据之后，还包括：
28、查询topic待聚合数据表，根据查询结果判断所述目标聚合节点当前线程的topic是否为待处理topic；
29、若所述目标节点当前线程的topic是待处理topic，则判断目标聚合节点当前线程的topic处理记录是否存在，若不存在，则停止处理目标处理节点的当前线程的topic待处理数据；
30、若存在，则更新目标处理节点的节点心跳，其中，所述目标聚合节点为二层节点中的任意节点。
31、可选地，所述将所述多个参考业务数据汇聚至二层节点，通过所述二层节点将所述多个参考业务数据进行聚合，得到聚合数据之后，还包括：
32、获取目标聚合节点的心跳记录，根据所述心跳记录判断所述目标聚合节点是否心跳超时；
33、若所述目标聚合节点心跳超时，则删除所述目标聚合本文档来自技高网...
【技术保护点】
1.一种数据聚合处理方法，其特征在于，所述数据聚合处理方法包括：
2.如权利要求1所述的数据聚合处理方法，其特征在于，所述将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据之后，还包括：
3.如权利要求2所述的数据聚合处理方法，其特征在于，所述在所述目标处理节点存在空余数据处理能力时，查询topic待处理数据表，获取topic待处理数据表中满足预设要求的待处理数据，将所述待处理数据分配至所述目标处理节点，包括：
4.如权利要求2或3任意一项权利要求所述的数据聚合处理方法，其特征在于，所述将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据之后，还包括：
5.如权利要求4所述的数据聚合处理方法，其特征在于，所述将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据之后，还包括：
6.如权利要求1所述的数据聚合处理方法，其特征在于，所述将所述多个参考业务数据汇聚至二层节点，通过所述二
7.如权利要求6所述的数据聚合处理方法，其特征在于，所述将所述多个参考业务数据汇聚至二层节点，通过所述二层节点将所述多个参考业务数据进行聚合，得到聚合数据之后，还包括：
8.如权利要求7所述的数据聚合处理方法，其特征在于，所述将所述多个参考业务数据汇聚至二层节点，通过所述二层节点将所述多个参考业务数据进行聚合，得到聚合数据之后，还包括：
9.一种数据聚合处理装置，其特征在于，所述数据聚合处理装置包括：
10.一种数据聚合处理设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据聚合处理程序，所述数据聚合处理程序配置为实现如权利要求1至7中任一项所述的数据聚合处理方法。
...【技术特征摘要】
1.一种数据聚合处理方法，其特征在于，所述数据聚合处理方法包括：
2.如权利要求1所述的数据聚合处理方法，其特征在于，所述将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据之后，还包括：
3.如权利要求2所述的数据聚合处理方法，其特征在于，所述在所述目标处理节点存在空余数据处理能力时，查询topic待处理数据表，获取topic待处理数据表中满足预设要求的待处理数据，将所述待处理数据分配至所述目标处理节点，包括：
4.如权利要求2或3任意一项权利要求所述的数据聚合处理方法，其特征在于，所述将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据之后，还包括：
5.如权利要求4所述的数据聚合处理方法，其特征在于，所述将各个分区数据分配至各个不同的一层节点，通过所述一层节点对所述分区数据进行处理，得到多个参考业务数据...
【专利技术属性】
技术研发人员：杨勇，曹益荣，
申请(专利权)人：招商银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。