一种固定时间间隔分组聚合的方法及系统技术方案

技术编号:42714808 阅读:26 留言:0更新日期:2024-09-13 12:04
本发明专利技术公开了一种固定时间间隔分组聚合的方法及系统,属于数据库技术领域,包括:通过对时序数据时间戳与已插入数据的最新时间戳的比较结果对时序数据进行形式化的乱序程度的描述;对描述乱序程度的信息进行实时监测和实时更新;利用描述乱序程度的信息进行查询优化;根据乱序程度动态分配资源,在扫描过程中进行固定时间间隔的时序数据分组聚合;根据乱序程度与性能指标进行性能预测,实现数据库自治。本发明专利技术对于固定时间间隔分组聚合的查询性能可以带来很大提升,同时降低了系统的资源消耗,特别是内存消耗。

【技术实现步骤摘要】

本专利技术涉及数据库,具体地说是一种固定时间间隔分组聚合的方法及系统


技术介绍

1、随着物联网技术的发展,物联网设备与应用数量迅速增长,对高效存储、管理和分析物联网设备所产生的海量数据的需求也日益增加。与传统数据库所处理的数据相比,物联网设备与应用所产生的数据具有明显的时序数据处理特征,如:

2、数据总是包含时间戳属性,并通常以时间为维度高频、稳定的产生;

3、数据量巨大,以一台传感器在一天产生的数据量约1.4m为例,一个拥有千万传感器的工厂一年即可产生500t数据;而在车联网、数字能源等新兴行业,管理数亿甚至数十亿设备正在成为趋势;

4、数据较少更新和删除;

5、查询通常以时间作为过滤条件,聚合分析通常在设备与时间维度上进行。

6、由于传统数据处理技术难以在如此大规模的数据上进行高效存储与分析,时序数据处理作为一项数据处理的专门技术而诞生并迅速发展。除在物联网行业外,时序数据处理技术在系统监控、股票交易等行业也得到广泛应用。在时序数据处理中,时间维度上的聚合查询是最常见的数据分析场景之一。特别本文档来自技高网...

【技术保护点】

1.一种固定时间间隔分组聚合的方法,其特征在于,包括:

2.根据权利要求1所述的一种固定时间间隔分组聚合的方法,其特征在于,采用最大乱序距离对时序数据的乱序程度进行定义,进而通过对最大乱序距离这一数据统计信息进行实时采集,协助查询优化器和查询执行器通过建立动态时间桶的方法,进行扫描过程中的固定时间间隔的时序数据分组聚集;

3.根据权利要求1或2所述的一种固定时间间隔分组聚合的方法,其特征在于,该方法的具体实现包括:

4.根据权利要求3所述的一种固定时间间隔分组聚合的方法,其特征在于,所述时序数据按照设备与时间维度进行分区存储,指定设备和指定时间段的时序...

【技术特征摘要】

1.一种固定时间间隔分组聚合的方法,其特征在于,包括:

2.根据权利要求1所述的一种固定时间间隔分组聚合的方法,其特征在于,采用最大乱序距离对时序数据的乱序程度进行定义,进而通过对最大乱序距离这一数据统计信息进行实时采集,协助查询优化器和查询执行器通过建立动态时间桶的方法,进行扫描过程中的固定时间间隔的时序数据分组聚集;

3.根据权利要求1或2所述的一种固定时间间隔分组聚合的方法,其特征在于,该方法的具体实现包括:

4.根据权利要求3所述的一种固定时间间隔分组聚合的方法,其特征在于,所述时序数据按照设备与时间维度进行分区存储,指定设备和指定时间段的时序数据被写入连续的物理空间,不同设备或者同一设备不同时段的时序数据则被写入不同的物理空间。

5.根据权利要求3所述的一种固定时间间隔分组聚合的方法,其特征在于,数...

【专利技术属性】
技术研发人员:魏可伟刘伟时振宇孙路明
申请(专利权)人:上海沄熹科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1