时序数据聚合方法、装置、计算机设备和存储介质制造方法及图纸

本申请涉及一种时序数据聚合方法、装置、计算机设备和存储介质，其中，该方法包括：根据聚合要求对原始时序数据表进行配置，得到用户配置结果，再获取聚合的起始时间点，根据用户配置结果和起始时间点生成查询语句sql；并根据查询语句sql进行查询，得到以时间为索引的第一聚合目的表；根据用户指定的聚合时间单位和用户配置结果对第一聚合目的表进行聚合处理，得到聚合后的第二聚合目的表；将第二聚合目的表存储至用户指定聚合时间单位的数据表。通过本申请，解决了相关技术中存在需要用户进行复杂的配置，且不能指定聚合时间单位进行聚合的问题。实现了用户通过简单的配置，即能指定聚合时间单位进行聚合的效果。定聚合时间单位进行聚合的效果。定聚合时间单位进行聚合的效果。

【技术实现步骤摘要】
时序数据聚合方法、装置、计算机设备和存储介质


[0001]本申请涉及大数据处理领域，特别是涉及一种时序数据聚合方法、装置、计算机设备和存储介质。

技术介绍

[0002]在一些互联网系统中，随着时间的变化，会产生源源不断的数据。这些数据依赖于时间而变化，可以用数值来反映其变化程度的数据就叫做时序数据，如网络流量数据、用户访问数据、日志数据等。通过对时序数据以各种时间单位进行聚合，可以对一段连续时间内的时序数据聚合结果进行数据分析或者处理。将聚合后的时序数据储存在聚合时间单位的数据表中，从而减轻数据库以及系统面对过大数据量的压力。
[0003]目前，时序数据的聚合有两种主要的方式：一种是通过调用程序来处理，需要对不同数据库进行适配，这种方式不能通用，所以对用户而言配置复杂。另一种是部分数据库独立或者借助插件实现数据的聚合处理方式，这种在数据库层面直接进行的聚合，不能指定聚合时间单位。
[0004]针对相关技术中，时序数据的聚合中存在需要用户进行复杂的配置，且不能指定聚合时间单位进行聚合的问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]在本申请中提供了一种时序数据聚合方法、装置、计算机设备和存储介质，以解决相关技术中时序数据的聚合中存在需要用户进行复杂的配置，且不能指定聚合时间单位的问题。
[0006]第一个方面，在本实施例中提供了一种时序数据聚合方法，包括：
[0007]根据聚合要求对原始时序数据表进行配置，得到用户配置结果；
[0008]获取聚合的起始时间点，根据所述用户配置结果和所述起始时间点生成查询语句sql；并根据所述查询语句sql进行查询，得到以时间为索引的第一聚合目的表；
[0009]根据用户指定的聚合时间单位和所述用户配置结果对所述第一聚合目的表进行聚合处理，得到聚合后的第二聚合目的表，将所述第二聚合目的表存储至所述用户指定聚合时间单位的数据表。
[0010]在其中的一些实施例中，所述获取聚合的起始时间点，包括：
[0011]判断所述第一聚合目的表中，是否存在上次聚合记录；
[0012]如果存在所述上次聚合记录，则获取所述第一聚合目的表中上次聚合的最晚时间点；将所述第一聚合目的表中上次聚合最晚时间点与所述用户指定聚合时间单位以及时间对齐格式进行时间对齐处理，得到所述起始时间点；
[0013]如果不存在所述上次聚合记录，则获取所述原始时序数据表中的最早时间点；将所述原始时序数据表中的最早时间点与所述用户指定聚合时间单位以及时间对齐格式进行时间对齐处理，得到所述起始时间点。
[0014]在其中的一些实施例中，所述将所述第一聚合目的表中上次聚合最晚时间点与所述用户指定聚合时间单位以及时间对齐格式进行时间对齐处理，包括：
[0015]根据所述用户指定聚合时间单位，确定所述第一聚合目的表中上次聚合最晚时间点所在的时间范围；
[0016]根据所述时间对齐格式要求，左对齐将所述第一聚合目的表中上次聚合最晚时间点聚合到所述时间范围的上一个时间点，右对齐将所述第一聚合目的表中上次聚合最晚时间点聚合到所述时间范围的下一个时间点。
[0017]在其中的一些实施例中，所述将所述原始时序数据表中的最早时间点与所述用户指定聚合时间单位以及时间对齐格式进行时间对齐处理，得到所述起始时间点，包括：
[0018]根据所述用户指定聚合时间单位，确定所述原始时序数据表中的最早时间点所在的时间范围；
[0019]根据所述时间对齐格式要求，左对齐将所述原始时序数据表中的最早时间点聚合到所述时间范围的上一个时间点，右对齐将所述原始时序数据表中的最早时间点聚合到所述时间范围的下一个时间点。
[0020]在其中的一些实施例中，所述查询语句sql进行查询，包括：
[0021]根据所述用户配置结果和所述起始时间点生成查询语句sql，并将所述查询语句sql作为函数参数，调用函数进行批量查询。
[0022]在其中的一些实施例中，所述根据用户指定的聚合时间单位和所述用户配置结果对所述第一聚合目的表进行聚合处理，包括：
[0023]根据用户配置结果中的异常数据处理方式对第一聚合目的表进行数据预处理；
[0024]根据所述用户指定聚合时间单位以及用户配置结果对第一聚合目的表进行聚合处理。
[0025]在其中的一些实施例中，所述方法还包括：
[0026]在得到所述用户配置结果之后，利用schedule任务调度器，进行时序数据的定时聚合。
[0027]第二个方面，在本实施例中提供了一种时序数据聚合装置，包括配置模块、查询模块、聚合模块以及存储模块：
[0028]所述配置模块，用于根据聚合要求对原始时序数据表进行配置，得到用户配置结果；
[0029]所述查询模块，用于获取聚合的起始时间点，根据所述用户配置结果和所述起始时间点生成查询语句sql；并根据所述查询语句sql进行查询，得到以时间为索引的第一聚合目的表；
[0030]所述聚合模块，用于根据用户指定的聚合时间单位和所述用户配置结果对所述第一聚合目的表进行聚合处理，得到聚合后的第二聚合目的表；
[0031]所述存储模块，用于将聚合后的第二聚合目的表存储至所述用户指定聚合时间单位的数据表中。
[0032]第三个方面，在本实施例中提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的时序数据聚合方法。
[0033]第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的时序数据聚合方法。
[0034]上述时序数据聚合方法、装置、计算机设备和存储介质，先根据聚合要求对原始时序数据表配置得到用户配置结果；再获取聚合的起始时间点，根据用户配置结果生成查询语句sql，并根据查询语句sql进行查询，得到以时间为索引的第一聚合目的表；最后根据用户指定聚合时间单位和用户配置结果对第一聚合目的表进行聚合处理，得到聚合后的第二聚合目的表，并将第二聚合目的表存储至用户指定聚合时间单位的数据表中。使用户只需进行简单的配置，可以进行指定聚合时间单位的聚合处理。
附图说明
[0035]图1为一个实施例提供的时序数据聚合方法的应用服务器的硬件结构框图；
[0036]图2为一个实施例中时序数据聚合方法的流程图；
[0037]图3为一个实施例中步骤S320的流程图；
[0038]图4为一个优选实施例中时序数据聚合方法的流程示意图；
[0039]图5为一个实施例中时序数据聚合装置的结构框图。
[0040]图中：510、配置模块；520、查询模块；530、聚合模块；540、存储模块。
具体实施方式
[0041]为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
[0042]除本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序数据聚合方法，其特征在于，包括：根据聚合要求对原始时序数据表进行配置，得到用户配置结果；获取聚合的起始时间点，根据所述用户配置结果和所述起始时间点生成查询语句sql；并根据所述查询语句sql进行查询，得到以时间为索引的第一聚合目的表；根据用户指定的聚合时间单位和所述用户配置结果对所述第一聚合目的表进行聚合处理，得到聚合后的第二聚合目的表；将所述第二聚合目的表存储至所述用户指定聚合时间单位的数据表。2.根据权利要求1所述方法，其特征在于，所述获取聚合的起始时间点，包括：判断所述第一聚合目的表中，是否存在上次聚合记录；如果存在所述上次聚合记录，则获取所述第一聚合目的表中上次聚合的最晚时间点；将所述第一聚合目的表中上次聚合最晚时间点与所述用户指定聚合时间单位以及时间对齐格式进行时间对齐处理，得到所述起始时间点；如果不存在所述上次聚合记录，则获取所述原始时序数据表中的最早时间点；将所述原始时序数据表中的最早时间点与所述用户指定聚合时间单位以及时间对齐格式进行时间对齐处理，得到所述起始时间点。3.根据权利要求2所述方法，其特征在于，所述将所述第一聚合目的表中上次聚合最晚时间点与所述用户指定聚合时间单位以及时间对齐格式进行时间对齐处理，包括：根据所述用户指定聚合时间单位，确定所述第一聚合目的表中上次聚合最晚时间点所在的时间范围；根据所述时间对齐格式要求，左对齐将所述第一聚合目的表中上次聚合最晚时间点聚合到所述时间范围的上一个时间点，右对齐将所述第一聚合目的表中上次聚合最晚时间点聚合到所述时间范围的下一个时间点。4.根据权利要求2所述方法，其特征在于，所述将所述原始时序数据表中的最早时间点与所述用户指定聚合时间单位以及时间对齐格式进行时间对齐处理，得到所述起始时间点，包括：根据所述用户指定聚合时间单位，确定所述原始时序数据表中的最早时间点所在的时间范围；根据所述时间对齐格式要求，...

【专利技术属性】
技术研发人员：刘军，郭晓，范渊，
申请(专利权)人：杭州安恒信息技术股份有限公司，
类型：发明
国别省市：