数据存储方法及设备技术

技术编号:33542068 阅读:27 留言:0更新日期:2022-05-21 09:52
本申请实施例提供一种数据存储方法及设备。在本申请实施例中,由于待存储时序数据的时间戳对应的第一时间分区的数据特征,在一定程度上可反映第一时间分区对应的时间范围内的时序数据的时间线基数,因此,根据第一时间分区的数据特征,自适应调整第二时间分区的时间窗口,使得第二时间分区的时间窗口随数据特征弹性伸缩,可降低第二时间分区出现时间线高基数的问题。这样,由于每个时间分区均不存在时间线高基数问题,每个时间分区的索引较少,因此在时序数据查询时,针对每个时间分区进行索引查询效率较高。索引查询效率较高。索引查询效率较高。

【技术实现步骤摘要】
数据存储方法及设备


[0001]本申请涉及数据存储
,尤其涉及一种数据存储方法及设备。

技术介绍

[0002]时序数据是基于某种频率持续产生的一系列数据,在应用性能监测(ApplicationPerformance Monitor,APM)、物联网和工业互联网等领域存在海量时序数据,对时序数据的读写、存储管理都提出了很大的挑战。以车辆网为例,假设20000辆车每秒采集60个监测指标,每秒就要产生1200000个数据点,每小时将产生73.8GB左右的数据,这给时序数据的存储带来了极大的挑战。
[0003]在时序数据库中,时序数据的标签部分用于构建构建时间线索引。在时间线膨胀应用场景中,时间线高基数问题随之产生,导致时间线索引不断膨胀,从而导致在时序数据检索时,查询索引的耗时增加。

技术实现思路

[0004]本申请的多个方面提供一种数据存储方法及设备,用以实现动态调整时间窗口的时间分区存储,可降低出现时间线高基数的概率,进而有助于提高后续数据查询效率。
[0005]本申请实施例提供一种数据存储方法,包括:...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:获取待存储时序数据;在已创建的时间分区存在所述待存储时序数据的时间戳对应的第一时间分区的情况下,获取所述第一时间分区存储的时序数据的数据特征;根据所述第一时间分区存储的时序数据的数据特征,确定目标时间窗口;根据所述待存储时序数据的时间戳,创建具有所述目标时间窗口的第二时间分区;将所述待存储时序数据存储于所述第二时间分区。2.根据权利要求1所述的方法,其特征在于,所述获取所述第一时间分区存储的时序数据的数据特征,包括:获取所述第一时间分区存储的时序数据包含的时间线数量和数据点数量,作为所述第一时间分区存储的时序数据的数据特征;所述根据所述第一时间分区存储的时序数据的数据特征,确定目标时间窗口,包括:根据所述第一时间分区存储的时序数据包含的时间线数量和数据点数量,确定目标时间窗口;其中,时序数据中同一对象的一个指标随时间变化产生的一系列数据为一条时间线;每条时间线中的一个指标值为一个数据点。3.根据权利要求2所述的方法,其特征在于,所述第一时间分区包括至少一个子分区;所述至少一个子分区的时间窗口相同;所述根据所述第一时间分区存储的时序数据包含的时间线数量和数据点数量,确定目标时间窗口,包括:根据所述至少一个子分区中创建最晚的第一子分区存储的时序数据包含的时间线数量和数据点数量,确定目标时间窗口。4.根据权利要求3所述的方法,其特征在于,所述根据所述至少一个子分区中创建最晚的第一子分区存储的时序数据包含的时间线数量和数据点数量,确定目标时间窗口,包括执行以下至少一种判断操作:判断所述第一子分区存储的时序数据包含的时间线数量是否小于或等于设定的时间线数量上限;判断所述第一子分区存储的时序数据包含的数据点数量是否小于或等于设定的数据点数量下限;若所述至少一种判断操作的判断结果均为否,在所述至少一个子分区的数量大于或等于设定的子分区数量上限的情况下,缩小所述第一子分区的时间窗口,以得到目标时间窗口。5.根据权利要求4所述的方法,其特征在于,还包括:若所述至少一种判断操作的判断结果均为否,在所述至少一个子分区数量小于设定的子分区数量上限的情况下,确定所述第一子分区的时间窗口为所述目标时间窗口。6.根据权利要求4所述的方法,其特征在于,若所述至少一种判断操作的判断结果均为是,所述根据所述第一时间分区存储的时序数据包含的时间线数量和数据点数量,确定目标时间窗口,还包括:从所述第一时间分区中,获取多个子分区;
确定所述多个子分区存储的时序数据包含的时间线数量之和及多个子分区存储的时序数据包含的数据点数量之和;若所述时间线数量之和小于或等于所述时间线...

【专利技术属性】
技术研发人员:胡建洪杨成虎张友东
申请(专利权)人:阿里云计算有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1