业务数据汇总方法及其系统技术方案

本申请公开了一种业务数据汇总方法及其系统，其中该业务数据汇总方法包括：通过分布式存储方式存储多个客户端产生的各业务数据；针对各业务数据，判断该业务数据是否属于热点数据，其中根据该业务数据对应的客户端的属性判断该业务数据是否属于热点数据；若是，则根据预设的第一数据汇总方式对所述热点数据进行业务数据汇总。通过本申请能够有效降低分布式存储的大数据的数据汇总的成本。

Service data aggregation method and system thereof

The invention discloses a business data collection method and system, wherein the business data collection methods include: the business data generated by the distributed storage storage mode of multiple clients; according to the judgment of the business data, business data is the hot data, according to the property of the business data corresponding to the client to determine the business data whether it belongs to the hot data; if, according to the first preset data summary of the hot data business data summary. This application can effectively reduce the cost of data aggregation of large data stored in distributed storage.

【技术实现步骤摘要】
业务数据汇总方法及其系统
本申请涉及信息
，尤其涉及一种业务数据汇总方法及其系统。
技术介绍
分布式存储场景下，数据汇总会面临很多问题，其中时效与成本是两个矛盾的因素。如果汇总频率高，则时效性也高，但是增加了网络传输成本以及存储的成本；如果汇总频率低，则时效性无法得到满足，且数据产生过快时，反而会加大汇总的成本。在大数据场景下，随着汇总粒度的不断增长，数据汇总的成本也会随之增长，最终导致无法承受其汇总成本。综上所述，现有技术中缺少对于分布式存储的大数据的数据汇总的有效的解决方案，因此有必要提出改进的技术手段解决上述问题。
技术实现思路
本申请实施例提供了一种业务数据汇总方法及其系统，以解决现有技术中的分布式存储的数据汇总成本较高的问题。为了解决上述问题，根据本申请实施例提供一种业务数据汇总方法，其包括：通过分布式存储方式存储多个客户端产生的各业务数据；针对各业务数据，判断该业务数据是否属于热点数据，其中根据该业务数据对应的客户端的属性判断该业务数据是否属于热点数据；若是，则根据预设的第一数据汇总方式对所述热点数据进行业务数据汇总。其中，在第一存储单元存储所述热点数据；所述根据预设的第一数据汇总方式对所述热点数据进行业务数据汇总，具体包括：待预设时间后，对所述第一存储单元存储的热点数据执行第一阶段数据汇总处理得到第一阶段汇总数据；将所述第一阶段汇总数据发送至第二存储单元进行存储；对所述第二存储单元存储的各第一阶段汇总数据执行第二阶段数据汇总处理。其中，还包括：若判断所述业务数据属于非热点数据，则根据预设的第二数据汇总方式对所述非热点数据进行业务数据汇总。其中，在第一存储单元存储所述非热点数据；所述根据预设的第二数据汇总方式对所述非热点数据进行业务数据汇总，具体包括：将所述非热点数据发送至第二存储单元进行存储；对所述第二存储单元存储的各非热点数据执行数据汇总处理。其中，还包括：根据近期最少使用算法LRU识别客户端是否属于热点客户端，若是则判断该热点客户端产生的业务数据属于热点数据。其中，还包括：设置所述热点客户端的热点时段，所述热点客户端在热点时段产生的业务数据属于热点数据。根据本申请实施例提供一种业务数据汇总系统，其包括：存储模块，用于通过分布式存储方式存储多个客户端产生的各业务数据；热点数据判断模块，用于针对各业务数据，判断该业务数据是否属于热点数据，其中根据该业务数据对应的客户端的属性判断该业务数据是否属于热点数据；第一汇总处理模块，用于若判断所述业务数据属于热点数据，则根据预设的第一数据汇总方式对所述热点数据进行业务数据汇总。其中，所述存储模块包括：第一存储单元，用于存储热点数据；第二存储单元，用于存储汇总数据；所述第一汇总处理模块还用于，待预设时间后，对所述第一存储单元存储的热点数据执行第一阶段数据汇总处理得到第一阶段汇总数据；将所述第一阶段汇总数据发送至第二存储单元进行存储；对所述第二存储单元存储的各第一阶段汇总数据执行第二阶段数据汇总处理。其中，还包括：第二汇总处理模块，用于若判断所述业务数据属于非热点数据，则根据预设的第二数据汇总方式对所述非热点数据进行业务数据汇总。其中，所述第一存储单元，还用于存储非热点数据；第二存储单元，还用于存储非热点数据及汇总数据；所述第二汇总处理模块，还用于将所述非热点数据发送至第二存储单元进行存储；对所述第二存储单元存储的各非热点数据执行数据汇总处理。其中，所述热点数据判断模块还用于，根据LRU算法识别客户端是否属于热点客户端，若是则判断该热点客户端产生的业务数据属于热点数据。其中，所述热点数据判断模块还用于，设置所述热点客户端的热点时段，所述热点客户端在热点时段产生的业务数据属于热点数据。根据本申请的技术方案，通过判断业务数据是否属于热点数据，并根据判断结果使用对应的数据汇总方式，通过本申请能够有效降低分布式存储的大数据的数据汇总的成本。附图说明此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1是根据本申请一个实施例的业务数据汇总方法的流程图；图2是根据本申请另一实施例的业务数据汇总方法的流程图；图3是根据本申请一个实施例的数据汇总的示意图；图4是根据本申请一个实施例的业务数据汇总系统的结构框图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。以下结合附图，详细说明本申请各实施例提供的技术方案。图1是根据本申请一个实施例的业务数据汇总方法的流程图，如图1所示，该方法包括以下步骤：步骤S102，通过分布式存储方式存储多个客户端产生的各业务数据。其中，所述客户端可以是指电子商务平台的客户端，这些客户端产生大量的业务数据。在本申请实施例中，这些大量的业务数据通过分布式存储方式存储在不同的存储单元。具体地，存储单元可以是一个存储分区、一块磁盘、一台计算机、一个数据库实例、一个数据库集群、一个机房等，本申请对存储单元的应用范围并不进行限制。步骤S102，针对各业务数据，判断该业务数据是否属于热点数据，其中根据该业务数据对应的客户端的属性判断该业务数据是否属于热点数据。在本申请实施例中，判断所存储的业务数据是否属于热点数据。其中，可以根据对应客户端的属性判断该客户端是否属于热点客户端，也就是说热点客户端在单位时间内产生的业务数据量大于预设值。进一步，热点客户端产生的业务数据属于热点数据。步骤S104，若判断业务数据属于热点数据，则根据预设的第一数据汇总方式对所述热点数据进行业务数据汇总。下面详细描述第一数据汇总方式：首先在第一存储单元存储所述热点数据，待预设时间后，对所述第一存储单元存储的热点数据执行第一阶段数据汇总处理，得到第一阶段汇总数据；然后将所述第一阶段汇总数据发送至第二存储单元进行存储，并对所述第二存储单元存储的各第一阶段汇总数据执行第二阶段数据汇总处理。简单来说，第一数据汇总方式对判断属于热点数据的业务数据执行二次数据汇总，其中第一次是在第一存储单元执行，第二次是在第二存储单元执行。在本申请的一个实施例中，若判断所述业务数据属于非热点数据，则根据预设的第二数据汇总方式对所述非热点数据进行业务数据汇总。下面详细描述第二数据汇总方式：首先在第一存储单元存储所述非热点数据，将所述非热点数据发送至第二存储单元进行存储，并对所述第二存储单元存储的各非热点数据执行数据汇总处理。简单来说，第二数据汇总方式对判断属于非热点数据的业务数据只执行一次数据汇总，即仅在第二存储单元执行一次数据汇总，而不在第一存储单元执行数据汇总，因此在第一存储单元处不产生汇总成本。下面结合图2详细描述上述处理的细节。图2是根据本申请另一实施例的业务数据汇总方法的流程图，如图2所示，该方法包括以下步骤：步骤S202，存储多个客户端产生的业务数据。在本申请实施例中，通过分布式存储方式存储多个客户端产生的业务数据。在实际实施中，可以本文档来自技高网...

【技术保护点】
一种业务数据汇总方法，其特征在于，包括：通过分布式存储方式存储多个客户端产生的各业务数据；针对各业务数据，判断该业务数据是否属于热点数据，其中根据该业务数据对应的客户端的属性判断该业务数据是否属于热点数据；若是，则根据预设的第一数据汇总方式对所述热点数据进行业务数据汇总。

【技术特征摘要】
1.一种业务数据汇总方法，其特征在于，包括：通过分布式存储方式存储多个客户端产生的各业务数据；针对各业务数据，判断该业务数据是否属于热点数据，其中根据该业务数据对应的客户端的属性判断该业务数据是否属于热点数据；若是，则根据预设的第一数据汇总方式对所述热点数据进行业务数据汇总。2.根据权利要求1所述的方法，其特征在于，在第一存储单元存储所述热点数据；所述根据预设的第一数据汇总方式对所述热点数据进行业务数据汇总，具体包括：待预设时间后，对所述第一存储单元存储的热点数据执行第一阶段数据汇总处理得到第一阶段汇总数据；将所述第一阶段汇总数据发送至第二存储单元进行存储；对所述第二存储单元存储的各第一阶段汇总数据执行第二阶段数据汇总处理。3.根据权利要求1所述的方法，其特征在于，还包括：若判断所述业务数据属于非热点数据，则根据预设的第二数据汇总方式对所述非热点数据进行业务数据汇总。4.根据权利要求3所述的方法，其特征在于，在第一存储单元存储所述非热点数据；所述根据预设的第二数据汇总方式对所述非热点数据进行业务数据汇总，具体包括：将所述非热点数据发送至第二存储单元进行存储；对所述第二存储单元存储的各非热点数据执行数据汇总处理。5.根据权利要求1所述的方法，其特征在于，还包括：根据近期最少使用算法LRU识别客户端是否属于热点客户端，若是则判断该热点客户端产生的业务数据属于热点数据。6.根据权利要求5所述的方法，其特征在于，还包括：设置所述热点客户端的热点时段，所述热点客户端在热点时段产生的业务数据属于热点数据。7.一种业务数据汇总系统，其特征在于，包括：存储模块，用于通过分布式存储方式...

【专利技术属性】
技术研发人员：赵大成，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY