数据聚合系统、方法、电子设备及存储介质技术方案

本发明专利技术实施例公开了一种数据聚合系统、方法、电子设备及存储介质，该系统包括：任务调度模块、数据导出模块和数据聚合模块；其中，任务调度模块，用于根据接收的数据聚合任务生成数据导出请求，并向数据导出模块发送数据导出请求；从服务器集群中选取作为执行节点的目标服务器节点，并向目标服务器节点下发任务执行指令；数据导出模块，用于根据数据导出请求将原始数据从分布式数据库导出后进行存储，并将导出后原始数据的存储路径发送给任务调度模块；数据聚合模块，用于基于接收到的任务执行指令中的作业流信息和存储路径执行数据聚合任务。通过本发明专利技术实施例的技术方案，实现了对分布式数据库中的数据进行聚合，提高了便捷性。提高了便捷性。提高了便捷性。

【技术实现步骤摘要】
数据聚合系统、方法、电子设备及存储介质


[0001]本专利技术实施例涉及大数据处理
，尤其涉及一种数据聚合系统、方法、电子设备及存储介质。

技术介绍

[0002]数据聚合是指通过对大数据的检索、分析以及处理，最终将分散的数据进行汇总，生成报表、图表等。数据聚合可以深度挖掘数据的价值，为决策者提供辅助支持。
[0003]随着企业业务规模的不断扩大，传统的数据存储及数据处理方式已经无法满足日益增长的业务需求，分布式数据库被广泛应用于数据存储，但因分布式数据库的数据分散而造成数据跨库查询、生成报表以及向第三方系统供数等场景实现困难，目前业界没有成熟的数据聚合的解决方案。
[0004]现阶段的数据聚合方法主要针对特定的业务场景，当业务需求改变时，需要重新开发后台逻辑，且当数据量大、业务逻辑复杂时，无法保证计算的效率。

技术实现思路

[0005]本专利技术实施例提供了一种数据聚合系统、方法、电子设备及存储介质，以实现对分布式数据库中的数据进行聚合，提高数据聚合的便捷性。
[0006]第一方面，本专利技术实施例提供了一种数据聚合系统，该系统包括：任务调度模块、数据导出模块和数据聚合模块；其中，
[0007]任务调度模块，用于根据接收的数据聚合任务生成数据导出请求，并向数据导出模块发送所述数据导出请求，以使所述数据导出模块根据所述数据导出请求从分布式数据库导出用于数据聚合的原始数据；从服务器集群中选取作为执行节点的目标服务器节点，并向所述目标服务器节点下发任务执行指令，其中，所述任务执行指令中包含导出后所述原始数据的存储路径以及所述数据聚合任务对应的作业流信息；
[0008]数据导出模块，用于根据所述数据导出请求将所述原始数据从分布式数据库导出后进行存储，并将导出后所述原始数据的存储路径发送给所述任务调度模块；
[0009]数据聚合模块，设置于所述服务器集群中的各服务器节点中，用于基于接收到的任务执行指令中的作业流信息和存储路径执行数据聚合任务。
[0010]第二方面，本专利技术实施例还提供了一种数据聚合方法，该方法包括：
[0011]经由任务调度模块根据接收的数据聚合任务生成数据导出请求，并向数据导出模块发送所述数据导出请求，以使所述数据导出模块根据所述数据导出请求从分布式数据库导出用于数据聚合的原始数据；从服务器集群中选取作为执行节点的目标服务器节点，并向所述目标服务器节点下发任务执行指令，其中，所述任务执行指令中包含导出后所述原始数据的存储路径以及所述数据聚合任务对应的作业流信息；
[0012]经由数据导出模块根据所述数据导出请求将所述原始数据从分布式数据库导出后进行存储，并将导出后所述原始数据的存储路径发送给所述任务调度模块；
[0013]经由数据聚合模块基于接收到的任务执行指令中的作业流信息和存储路径执行数据聚合任务，其中，所述数据聚合模块设置于所述服务器集群中的各服务器节点中。
[0014]第三方面，本专利技术实施例还提供了一种电子设备，所述电子设备包括：
[0015]一个或多个处理器；
[0016]存储装置，用于存储一个或多个程序，
[0017]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术实施例任一所述的数据聚合方法。
[0018]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本专利技术实施例任一所述的数据聚合方法。
[0019]本专利技术实施例的技术方案，通过数据聚合系统中的任务调度模块根据接收的数据聚合任务生成数据导出请求，并向数据导出模块发送数据导出请求，以使数据导出模块根据数据导出请求从分布式数据库导出用于数据聚合的原始数据，并且，任务调度模块从服务器集群中选取作为执行节点的目标服务器节点，并向目标服务器节点下发任务执行指令，以使执行节点执行数据聚合任务，基于数据导出模块根据数据导出请求将原始数据从分布式数据库导出后进行存储，并将导出后原始数据的存储路径发送给任务调度模块，以便后续数据聚合任务的执行，通过数据聚合模块基于接收到的任务执行指令中的作业流信息和存储路径执行数据聚合任务，解决了使用分布式数据库进行数据聚合时，业务逻辑复杂，难以快速定位数据并进行聚合操作，导致的数据聚合效率低的技术问题，实现了对分布式数据库中的数据进行快速准确的提取和聚合，提高数据聚合的便捷性的技术效果。
附图说明
[0020]为了更加清楚地说明本专利技术示例性实施例的技术方案，下面对描述实施例中所需要用到的附图做一简单介绍。显然，所介绍的附图只是本专利技术所要描述的一部分实施例的附图，而不是全部的附图，对于本领域普通技术人员，在不付出创造性劳动的前提下，还可以根据这些附图得到其他的附图。
[0021]图1为本专利技术实施例一所提供的一种数据聚合系统的结构示意图；
[0022]图2为本专利技术实施例三所提供的一种数据聚合系统的结构示意图；
[0023]图3为本专利技术实施例三所提供的一种数据导出模块中的原始数据导出的流程示意图；
[0024]图4为本专利技术实施例三所提供的一种数据聚合模块中的数据聚合的流程示意图；
[0025]图5为本专利技术实施例四所提供的一种数据聚合方法的流程示意图；
[0026]图6为本专利技术实施例五所提供的一种电子设备的结构示意图。
具体实施方式
[0027]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0028]实施例一
[0029]图1为本专利技术实施例一所提供的一种数据聚合系统的结构示意图，本实施例可适
用于在分布式数据库中进行数据聚合的情况。如图1所示的数据聚合系统，包括：任务调度模块1、数据导出模块2和数据聚合模块3；
[0030]任务调度模块1，用于根据接收的数据聚合任务生成数据导出请求，并向数据导出模块2发送数据导出请求，以使数据导出模块2根据数据导出请求从分布式数据库导出用于数据聚合的原始数据；从服务器集群中选取作为执行节点的目标服务器节点，并向目标服务器节点下发任务执行指令，其中，任务执行指令中包含导出后原始数据的存储路径以及数据聚合任务对应的作业流信息；数据导出模块2，用于根据数据导出请求将原始数据从分布式数据库导出后进行存储，并将导出后原始数据的存储路径发送给任务调度模块1；数据聚合模块3，设置于服务器集群中的各服务器节点中，用于基于接收到的任务执行指令中的作业流信息和存储路径执行数据聚合任务。
[0031]任务调度模块1，用于根据接收的数据聚合任务生成数据导出请求，并向数据导出模块2发送数据导出请求，以使数据导出模块2根据数据导出请求从分布式数据库导出用于数据聚合的原始数据。
[0032]其中，数据聚合任务可以是根据用户的数据聚合需求生成的任务。数据导本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据聚合系统，其特征在于，包括：任务调度模块、数据导出模块和数据聚合模块；其中，任务调度模块，用于根据接收的数据聚合任务生成数据导出请求，并向数据导出模块发送所述数据导出请求，以使所述数据导出模块根据所述数据导出请求从分布式数据库导出用于数据聚合的原始数据；从服务器集群中选取作为执行节点的目标服务器节点，并向所述目标服务器节点下发任务执行指令，其中，所述任务执行指令中包含导出后所述原始数据的存储路径以及所述数据聚合任务对应的作业流信息；数据导出模块，用于根据所述数据导出请求将所述原始数据从分布式数据库导出后进行存储，并将导出后所述原始数据的存储路径发送给所述任务调度模块；数据聚合模块，设置于所述服务器集群中的各服务器节点中，用于基于接收到的任务执行指令中的作业流信息和存储路径执行数据聚合任务。2.根据权利要求1所述的系统，其特征在于，所述任务执行指令中还包含预设作业分配粒度；所述数据聚合模块具体用于：根据所述任务执行指令中的存储路径拉取用于数据聚合的所述原始数据；若所述预设作业分配粒度为第一粒度，则基于所述作业流信息和所述原始数据执行作业流的作业，以完成数据聚合任务；若所述预设作业分配粒度为第二粒度，则根据预设选取策略选取其他服务器节点，并向选取的所述其他服务器节点发送任务执行指令，以使所述其他服务器节点中的数据聚合模块基于接收到的任务执行指令执行作业流的作业，以完成数据聚合任务。3.根据权利要求2所述的系统，其特征在于，所述数据聚合模块具体用于：根据上次作为执行节点的服务器节点的编号顺序选取后续其他服务器节点；或者，通过注册中心中间件获取其他各服务器节点的资源状态信息，并根据所述资源状态信息选取负载最低的其他服务器节点；或者，获取其他各服务器节点的历史作业执行数量，并选取历史作业执行数量最低的其他服务器节点。4.根据权利要求2所述的系统，其特征在于，所述任务调度模块还用于：对所述数据聚合模块的作业执行情况进行监控，当根据监控信息确定作业流执行成功或失败时，向用户发送包含执行情况信息的通知消息。5.根据权利要求2所述的系统，其特征在于，所述任务调度模块还用于：控制所述数据聚合模块在指定时间或以指定时间间隔执行作业流的作业。6.根据权利要求2所述的系统，其特征在于，所述任务调度模块还用于：在监控到所述数据聚合模块执行作业流中的任一作业失败...

【专利技术属性】
技术研发人员：白萌，古毅伟，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：