数据的处理方法及装置制造方法及图纸

本申请提出一种数据的处理方法及装置。其中，该方法包括：从预设数据库中读取事件的明细数据，并以预设时间段为单位对保存的明细数据进行累积，获得对应的累积数据，其中，累积数据所占用的存储空间小于累积数据对应的明细数据所占用的存储空间；将获得的累积数据保存在预设数据库中；以及监控明细数据的保存时间，并删除保存时间达到预设周期的所述明细数据。本申请实施例的数据的处理方法及装置，可大大减少存储明细数据的存储空间，大大降低存储成本。

【技术实现步骤摘要】

本申请涉及计算机
，尤其涉及一种数据的处理方法及装置。
技术介绍
随着计算机技术及互联网技术的迅速发展，信息数据量不断增长，数据库需要存储的数据越来越多，所需的存储空间越来越大，存储数据所需的硬件成本越来越高。为了充分利用存储空间，减少存储数据的成本，对数据进行压缩存储是目前常用的方式。目前，主要通过压缩算法对数据进行压缩处理，例如，可通过LZ(其全称为Lempel-Ziv，是用两位作者AbrahamLempel和JacobZiv的名字命名的)算法、LZW(其全称为Lempel-Ziv-Welch，是用三位作者AbrahamLempel、JacobZiv和TerryA.Welch的名字命名的)算法对数据进行压缩处理。然而，上述压缩方式存在的问题是，数据的压缩效果并不理想，压缩后的数据所需存储空间仍然很大。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种数据的处理方法，该方法可大大减少存储明细数据的存储空间，大大降低存储成本。本申请的第二个目的在于提出一种数据的处理装置。为达上述目的，本申请第一方面实施例提出了一种数据的处理方法，包括：从预设数据库中读取事件的明细数据，并以预设时间段为单位对保存的所述明细数据进行累积，获得对应的累积数据，其中，所述累积数据所占用的存储空间小于所述累积数据对应的所述明细数据所占用的存储空间；将获得的所述累积数据保存在所述预设数据库中；以及监控明细数据的保存时间，并删除保存时间达到预设周期的明细数据。本申请实施例的数据的处理方法，从预设数据库中读取事件的明细数据，并以预设时间段为单位对保存的明细数据进行累积，获得对应的累积数据，并将获得的累积数据保存在预设数据库中，以及监控明细数据的保存时间，并删除保存时间达到预设周期的明细数据，由此，可大大减少存储明细数据的存储空间，大大降低存储成本。为达上述目的，本申请第二方面实施例提出了一种数据的处理装置，包括：累积模块，用于从预设数据库中读取事件的明细数据的保存时间，并以预设时间段为单位对保存的所述明细数据进行累积，获得对应的累积数据，其中，所述累积数据所占用的存储空间小于所述累积数据对应的所述明细数据所占用的存储空间；保存模块，用于将获得的所述累积数据保存在所述预设数据库中；以及第一处理模块，用于监控所述明细数据的保存时间，并删除保存时间达到预设周期的明细数据。本申请实施例的数据的处理装置，通过累积模块从预设数据库中读取事件的明细数据的保存时间，并以预设时间段为单位对保存的明细数据进行累积，获得对应的累积数据，其中，累积数据所占用的存储空间小于累积数据对应的明细数据所占用的存储空间，并通过保存模块将获得的累积数据保存在预设数据库中，以及通过第一处理模块监控明细数据的保存时间，并删除保存时间达到预设周期的明细数据，由此，可大大减少存储明细数据的存储空间，大大降低存储成本。附图说明图1是本申请一个实施例的数据的处理方法的流程图。图2是本申请另一个实施例的数据的处理方法的流程图。图3是本申请一个实施例的数据的处理装置的结构示意图。图4是本申请另一个实施例的数据的处理装置的结构示意图。具体实施方式下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。下面参考附图描述本申请实施例的数据的处理方法及装置。图1是本申请一个实施例的数据的处理方法的流程图，如图1所示，该数据的处理方法包括:S101，从预设数据库中读取事件的明细数据，并以预设时间段为单位对保存的明细数据进行累积，获得对应的累积数据，其中，累积数据所占用的存储空间小于该累积数据对应的明细数据所占用的存储空间。具体地，可从预设数据库例如Hbase(HadoopDatabase)数据库中读取明细数据，并以预设时间段为单位，基于预设属性信息对读取到的明细数据进行累积，获得累积数据。其中，预设属性信息包括事件中包含的属性信息。上述预设时间段是系统中预先设置的时间段，预设时间段可为4小时、6小时等，优选地，预设时间段可为24小时即一天。该实施例中，上述预设数据库可以是Hbase数据库，还可以是其他数据库，Hbase数据库是一个高可靠性、高性能、面向列、可伸缩的分布式存储数据库。上述事件的明细数据是指预设APP的用户在登录、注册、交易等过程中产生的每一条数据。例如，可在Hbase数据库中记录支付宝用户在登录、注册、交易等过程中产生的每一条明细数据。具体地，为了降低服务器的压力，可以当达到预设条件时，从预设数据库中读取事件的明细数据，例如，当每秒查询率(QPS)低于预设阈值时，从预设数据库例如中Hbase数据库读取事件的明细数据。其中，预设阈值是系统中预先设置的阈值，例如，可以为20％、30％等。在该实施例中，不同类型的明细数据的累积方式不同，因此，在以预设时间段为单位对事件的明细数据进行累积时，可基于事件的明细数据的类型按照对应的规则对保存的明细数据进行累积，获得累积数据。其中，事件的明细数据的类型是事件中包含的属性信息中的一种。具体地，预设数据库中保存的事件的明细数据可分为两种类型，数值型的明细数据和非数值型的明细数据，不同类型的明细数据的累积方式不同：a)对于数值型的明细数据，可以基于对应的规则对明细数据进行累积，以得到包含最大值、最小值、和、第一次交易值、最后一次交易值等的累积数据。例如，明细数据为买家付款事件的明细数据，针对事件中的属性信息例如买家付款交易事件中的交易金额，可以确定账号对应的明细数据为交易金额，该明细数据的类型为数值型，此时，在以预设时间段比如一天为单位对事件的明细数据进行累积时，可按照对应的规则获得包含每个账号一天的累积交易金额、最大交易金额、最小交易金额、第一笔交易金额、最后一笔交易金额等的累积数据，可将一天的累积数据称为日账数据。b)对于非数值型的明细数据，可基于非数值型的明细数据对应的规则对明细数据进行累积，以获得包含非数值型的明细数据的访问次数的累积数据。例如，明细数据为用户的IP(InternetProtocol，互联网协议)地址，可以确定IP地址的类型为非数值类型的明细数据，在以预设时间段比如一天为单位统计每个IP地址的访问次数时，可基于对应的规则对非数值型的明细数据进行处本文档来自技高网...

【技术保护点】
一种数据的处理方法，其特征在于，包括：从预设数据库中读取事件的明细数据，并以预设时间段为单位对保存的所述明细数据进行累积，获得对应的累积数据，其中，所述累积数据所占用的存储空间小于所述累积数据对应的所述明细数据所占用的存储空间；将获得的所述累积数据保存在所述预设数据库中；以及监控所述明细数据的保存时间，并删除保存时间达到预设周期的明细数据。

【技术特征摘要】
1.一种数据的处理方法，其特征在于，包括：
从预设数据库中读取事件的明细数据，并以预设时间段为单位对保存的所述明细数据
进行累积，获得对应的累积数据，其中，所述累积数据所占用的存储空间小于所述累积数
据对应的所述明细数据所占用的存储空间；
将获得的所述累积数据保存在所述预设数据库中；以及
监控所述明细数据的保存时间，并删除保存时间达到预设周期的明细数据。
2.根据权利要求1所述的方法，其特征在于，所述以预设时间段为单位对保存的所述
明细数据进行累积，获得对应的累积数据，包括：
以预设时间段为单位，基于预设属性信息对读取到的所述明细数据进行累积，获得所
述累积数据。
3.根据权利要求2所述的方法，其特征在于，所述从所述预设数据库中读取事件的明
细数据，包括：
当达到预设条件时，从所述预设数据库中读取所述明细数据。
4.根据权利要求3所述的方法，其特征在于，所述预设条件包括每秒查询率低于预设
阈值，所述预设属性信息包括所述事件中包含的属性信息。
5.根据权利要求1-4任一权利要求所述的方法，其特征在于，在所述将获得的所述累
积数据保存在所述预设数据库中之后，还包括：
从所述预设数据库中查询所述累积数据，获得查询结果；以及
基于所述查询结果进行统计，并根据统计结果执行对应的控制操作。
6.根据权利要求5所述的方法，其特征在于，所述从所述预设数据库中查询所述累积
数据，获得查询结果，包括：
获得聚合函数，对所述聚合函数进行参数转换；以及
向所述预设数据库发送包含参数转换后的聚合函数和查询条件的查询请求，并接收根
据所述查询请求获得的所述查询结果。
7.根据权利要求6所述的方法，其特征在于，所述基于所述查询结果进行统计，包括：
对所述查询结果进行解析，对解析出的累积数据进行解压缩，并基于所述查询条件对
解压缩后的累积数据进行...

【专利技术属性】
技术研发人员：尹攀，雷鑫，孙宏发，潘寒冰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY