数据处理方法、数据处理装置、可读介质及电子设备制造方法及图纸

本发明专利技术提供了一种数据处理方法、数据处理装置、可读介质及电子设备。该数据处理方法包括：获取第一数据库中的增量数据；对所述增量数据进行统计分析，以生成统计结果；将所述统计结果存储至第二数据库；基于所述第二数据库响应客户端的数据查询请求。本发明专利技术的技术方案使得对数据的统计及查询操作不会占用第一数据库的资源，进而能够避免数据统计及查询操作影响第一数据库的正常业务操作。

【技术实现步骤摘要】
数据处理方法、数据处理装置、可读介质及电子设备
本专利技术涉及数据处理
，具体而言，涉及一种数据处理方法、数据处理装置、可读介质及电子设备。
技术介绍
对于关系型数据库，往往都有报表统计的需求，例如电商系统需要统计每分钟用户的下单量，物流系统需要统计每分钟妥投的包裹量。如果业务量大，关系型数据库的压力也会很大，如果关系型数据库在处理业务请求的同时，还要处理报表统计需求，有可能会影响正常业务请求的处理。另外，在业务量巨大的情况下，关系型数据库可能使用了分库分表技术，这时若想通过数据库来统计整体的报表，就变得很困难。相关技术中提出的通过查询关系型数据库来生成统计报表数据的方案如图1所示，其过程主要包括：客户端发起报表查询请求，Web服务接收到客户端发起的请求，然后根据客户端的请求生成报表统计SQL语句并发送给数据库，数据库执行SQL，并将结果返回给Web服务，Web服务将数据库返回的结果发送给客户端。但是，对于复杂逻辑的统计报表来说，相关技术中采用的SQL查询方式效率低、并且会占用数据库的资源，有可能影响数据库的正常业务操作；而为了实现复杂逻辑统计报表的查询，往往需要给数据库建立适合统计报表的索引，这也会降低数据库的业务写操作的执行性能；并且相关技术中的方案也无法支持分库分表之后的统计报表操作。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术的目的在于提供一种数据处理方法，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术的第一方面，提供了一种数据处理方法，包括：获取第一数据库中的增量数据；对所述增量数据进行统计分析，以生成统计结果；将所述统计结果存储至第二数据库；基于所述第二数据库响应客户端的数据查询请求。在本专利技术的一些实施例中，基于前述方案，对所述增量数据进行统计分析，以生成统计结果的步骤，包括：获取指标公式，其中，每个所述指标公式对应于所述增量数据的一种统计指标；根据所述指标公式，在所述增量数据中查找对应的指标增量；根据查找到的指标增量，生成所述统计结果。在本专利技术的一些实施例中，基于前述方案，根据所述指标公式，在所述增量数据中查找对应的指标增量的步骤，包括：解析所述指标公式中包含的各个匹配表达式，以得到所述各个匹配表达式的值；基于所述各个匹配表达式的值，匹配所述增量数据中的指标增量。在本专利技术的一些实施例中，基于前述方案，解析所述指标公式中包含的任一匹配表达式的过程，包括：根据所述任一匹配表达式的内容，基于匹配表达式与解析代码的映射关系生成所述任一匹配表达式的解析代码；编译所述任一匹配表达式的解析代码，得到所述任一匹配表达式的实现类；根据所述任一匹配表达式的实现类，生成所述任一匹配表达式的解析实例；通过所述任一匹配表达式的解析实例解析所述任一匹配表达式。在本专利技术的一些实施例中，基于前述方案，还包括：在生成所述任一匹配表达式的解析代码之前，判断是否已存在所述任一匹配表达式的解析实例；若已存在所述任一匹配表达式的解析实例，则直接根据所述任一匹配表达式的解析实例解析所述任一匹配表达式；若不存在所述任一匹配表达式的解析实例，则根据所述任一匹配表达式的内容，基于匹配表达式与解析代码的映射关系生成所述任一匹配表达式的解析代码。在本专利技术的一些实施例中，基于前述方案，所述各个匹配表达式包括：用于判断所述增量数据是否符合指标计算要求的指标条件表达式、用于标识要统计的指标维度的指标维度表达式、用于标识要统计的指标值的指标增量值表达式、用于标识指标业务发生时间的时间表达式。在本专利技术的一些实施例中，基于前述方案，还包括：在对所述增量数据进行统计分析时，根据所述增量数据的业务主键判断是否已对所述增量数据进行统计分析；若根据所述增量数据的业务主键判定已对所述增量数据进行统计分析，则不对所述增量数据进行统计分析。在本专利技术的一些实施例中，基于前述方案，根据查找到的指标增量，生成所述统计结果的步骤，包括：根据所述指标公式的标识码、所述指标公式统计的指标维度和所述指标公式统计的指标业务时间的基础部分生成哈希表的key；根据所述指标公式统计的指标业务时间的刻度部分生成哈希表的field；基于所述哈希表的key和所述哈希表的field生成哈希表，并将查找的指标增量作为对应的field的值存储至所述哈希表中。在本专利技术的一些实施例中，基于前述方案，在所述第二数据库为基于内存存储的数据库的情况下，所述数据处理方法还包括：将所述第二数据库中存储的历史统计结果转存至第三数据库，并通过所述第二数据库和所述第三数据库响应所述客户端的数据查询请求。在本专利技术的一些实施例中，基于前述方案，将所述第二数据库中存储的历史统计结果转存至第三数据库的步骤，包括：判断基于所述指标公式得到的统计结果是否已结转到指定时间；若基于所述指标公式得到的统计结果未结转到所述指定时间，则从所述第二数据库中获取基于所述指标公式得到的在所述指定时间之前的统计结果；将从所述第二数据库中获取的统计结果存储至所述第三数据库中。在本专利技术的一些实施例中，基于前述方案，将从所述第二数据库中获取的统计结果存储至所述第三数据库中的步骤，包括：在所述第三数据库中创建表结构，所述表结构包括多列，所述多列分别用于存储所述指标公式的标识码、所述指标公式统计的指标维度、所述指标公式统计的指标业务时间的基础部分、所述指标公式统计的指标业务时间的每一刻度部分所对应的指标增量；将从所述第二数据库中获取的统计结果插入所述表结构中。在本专利技术的一些实施例中，基于前述方案，获取第一数据库中的增量数据的步骤，包括：获取所述第一数据库中的增量日志；基于所述增量日志，获取所述增量数据。根据本专利技术的第二方面，提供了一种数据处理装置，包括：获取单元，用于获取第一数据库中的增量数据；统计单元，用于对所述增量数据进行统计分析，以生成统计结果；存储单元，用于将所述统计结果存储至第二数据库；处理单元，用于基于所述第二数据库响应客户端的数据查询请求。根据本专利技术的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述第一方面所述的数据处理方法。根据本专利技术的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述第一方面所述的数据处理方法。在本专利技术的一些实施例所提供的技术方案中，通过获取第一数据库中的增量数据，并对获取到的增量数据进行统计分析，将统计结果存储至第二数据库，以基于第二数据库响应客户端的数据查询请求，使得对数据的统计及查询操作不会占用第一数据库的资源，进而能够避免数据统计及查询操作影响第一数据库的正常业务操作。在本专利技术的一些实施例所提供的技术方案中，通过根据指标公式来查找对应的指标增量，使得能够提高指标增量的查询效率，进而能够提高数据统计的效率。在本专利技术的一些实施例所提供的技术方案中，通过基于哈希表的形式存储查找到的指标增量，一方面可以提高存储效率，另一方本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：获取第一数据库中的增量数据；对所述增量数据进行统计分析，以生成统计结果；将所述统计结果存储至第二数据库；基于所述第二数据库响应客户端的数据查询请求。

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取第一数据库中的增量数据；对所述增量数据进行统计分析，以生成统计结果；将所述统计结果存储至第二数据库；基于所述第二数据库响应客户端的数据查询请求。2.根据权利要求1所述的数据处理方法，其特征在于，对所述增量数据进行统计分析，以生成统计结果的步骤，包括：获取指标公式，其中，每个所述指标公式对应于所述增量数据的一种统计指标；根据所述指标公式，在所述增量数据中查找对应的指标增量；根据查找到的指标增量，生成所述统计结果。3.根据权利要求2所述的数据处理方法，其特征在于，根据所述指标公式，在所述增量数据中查找对应的指标增量的步骤，包括：解析所述指标公式中包含的各个匹配表达式，以得到所述各个匹配表达式的值；基于所述各个匹配表达式的值，匹配所述增量数据中的指标增量。4.根据权利要求3所述的数据处理方法，其特征在于，解析所述指标公式中包含的任一匹配表达式的过程，包括：根据所述任一匹配表达式的内容，基于匹配表达式与解析代码的映射关系生成所述任一匹配表达式的解析代码；编译所述任一匹配表达式的解析代码，得到所述任一匹配表达式的实现类；根据所述任一匹配表达式的实现类，生成所述任一匹配表达式的解析实例；通过所述任一匹配表达式的解析实例解析所述任一匹配表达式。5.根据权利要求4所述的数据处理方法，其特征在于，还包括：在生成所述任一匹配表达式的解析代码之前，判断是否已存在所述任一匹配表达式的解析实例；若已存在所述任一匹配表达式的解析实例，则直接根据所述任一匹配表达式的解析实例解析所述任一匹配表达式；若不存在所述任一匹配表达式的解析实例，则根据所述任一匹配表达式的内容，基于匹配表达式与解析代码的映射关系生成所述任一匹配表达式的解析代码。6.根据权利要求3所述的数据处理方法，其特征在于，所述各个匹配表达式包括：用于判断所述增量数据是否符合指标计算要求的指标条件表达式、用于标识要统计的指标维度的指标维度表达式、用于标识要统计的指标值的指标增量值表达式、用于标识指标业务发生时间的时间表达式。7.根据权利要求1所述的数据处理方法，其特征在于，还包括：在对所述增量数据进行统计分析时，根据所述增量数据的业务主键判断是否已对所述增量数据进行统计分析；若根据所述增量数据的业务主键判定已对所述增量数据进行统计分析，则不对所述增量数据进行统计分析。8.根据权利要求2所述的数据处理方法，其特征在于，根据查找到的指标增量，生成所述统计结果的步骤...

【专利技术属性】
技术研发人员：赵玉开，者文明，乔晓强，王宝令，蔚伟，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11