【技术实现步骤摘要】
时序数据的存储、读取方法及装置
[0001]本说明书一个或多个实施例涉及数据处理
,尤其涉及一种时序数据的存储、读取方法及装置。
技术介绍
[0002]时序数据是随着时间不断产生的、以时间为序列的数据。例如,机器的性能数据每时每刻都在产生,是一种典型的时间序列数据,简称时序数据。很多时候,时序数据需要长期保存,以方便在运营维护时查看指定时间范围内的状态趋势,或者查看某一时刻的详细时序数据。因此,对时序数据进行存储和读取是机器需要不断地执行的操作。
[0003]因此,希望能有改进的方案,可以提供更合理的时序数据存储模式,使得对时序数据的读取更方便,效率更高。
技术实现思路
[0004]本说明书一个或多个实施例描述了一种时序数据的存储、读取方法及装置,以提供更合理的时序数据存储模式,使得对时序数据的读取更方便,效率更高。具体的技术方案如下。
[0005]第一方面,实施例提供了一种时序数据存储方法,通过处理设备执行,所述处理设备包括第一内存和第二内存;所述方法包括:
[0006]获取待 ...
【技术保护点】
【技术特征摘要】
1.一种时序数据存储方法,通过处理设备执行,所述处理设备包括第一内存和第二内存;所述方法包括:获取待存储的第一时序数据;基于所述第一时序数据的第一时间戳,将所述第一时序数据对应地存储在所述第一内存的时序数据序列中;其中,所述时序数据序列包含第一时长的时序数据,用于提供针对第二时刻到第一时刻的第一时段内的数据查询,所述第二时刻比所述第一时刻早所述第一时长;从所述时序数据序列中确定待淘汰的第二时序数据,将所述第二时序数据存储至所述第二内存中;其中,所述第二内存用于存储第二时长的时序数据,并用于提供针对第三时刻到所述第二时刻的第二时段内的数据查询,所述第三时刻比所述第二时刻早所述第二时长。2.根据权利要求1所述的方法,所述从所述时序数据序列中确定待淘汰的第二时序数据的步骤,包括:基于所述时序数据序列中时间戳超出所述第一时段的时序数据,确定待淘汰的第二时序数据。3.根据权利要求1所述的方法,所述时序数据序列包括临时序列和存储序列;所述将所述第一时序数据对应地存储在所述第一内存的时序数据序列中的步骤,包括:当所述第一时间戳落在所述第一时段中时间最晚的第三时长内时,将所述第一时序数据存储在所述临时序列中;当所述临时序列中的时序数据达到预设累积条件时,将所述临时序列中的累积时序数据转存至所述存储序列中,所述累积时序数据中包含所述第一时序数据;所述从所述时序数据序列中确定待淘汰的第二时序数据的步骤,包括:从所述存储序列中确定待淘汰的第二时序数据。4.根据权利要求3所述的方法,所述临时序列和存储序列被划分为若干个时间分桶,所述时间分桶的时长为所述第三时长;所述将所述临时序列中的累积时序数据存储至所述存储序列中的步骤,包括:当所述临时序列中的最晚时间分桶的时序数据存满时,将所述最晚时间分桶中的时序数据作为累积时序数据,转存至所述存储序列中对应的最晚时间分桶中。5.根据权利要求4所述的方法,所述从所述存储序列中确定待淘汰的第二时序数据的步骤,包括:在将所述累积时序数据转存至所述存储序列中对应的最晚时间分桶中之前,将所述存储序列中的最早时间分桶中的时序数据,确定为待淘汰的第二时序数据。6.根据权利要求4所述的方法,所述临时序列的数量为若干个,若干个临时序列分别与不同的对象对应,所述第一时序数据包括若干个对象的时序数据;所述将所述第一时序数据存储在所述临时序列中的步骤,包括:将所述第一时序数据中若干个对象的时序数据分别存储至对应的临时序列中;所述转存至所述存储序列中对应的最晚时间分桶中的步骤,包括:当若干个临时序列中的最晚时间分桶的时序数据存满时,将所述最晚时间分桶中若干
个对象的时序数据作为累积时序数据,转存至所述存储序列中对应的最晚时间分桶中。7.根据权利要求1所述的方法,所述第二内存包括多个物理存储单元;所述将所述第二时序数据存储至所述第二内存中的步骤,包括:确定所述第二内存中待写入的物理存储单元;基于所述待写入的物理存储单元,对所述第二时序数据进行存储。8.根据权利要求7所述的方法,所述时序数据序列包括若干个时间分桶;所述第二时序数据为一个时间分桶的时序数据;在对所述第二时序数据进行存储之后,还包括:记录所述第二时序数据对应的时间分桶与存储所述第二时序数据的物理存储单元之间的对应关系。9.根据权利要求7所述的方法,所述第二时序数据包括若干个对象的时序数据;一个物理存储单元被划分为若干个逻辑单元;所述对所述第二时序数据进行存储的步骤,包括:针对所述若干个对象中的任意一个对象,将所述第二时序数据中该对象的时序数据,写入物理存储单元中与该对象对应的逻辑单元中。10.根据权利要求8所述的方法,所述记录所述第二时序数据对应的时间分桶与存储所述第二时序数据的物理存储单元之间的对应关系的步骤,包括:基于时序数据归属的对象与数据分区的对应关系,以及所述第二时序数据归属的对象,确定所述第二时序数据所在的第一数据分区;将所述第二时序数据对应的时间分桶与存储所述第二时序数据的物理存储单元之间的对应关系,记录在所述第一数据分区对应的列表中。11.根据权利要求1所述的方法,所述第二内存采用AEP实现。12.根据权利要求1所述的方法,其中还包括:将所述第一时序数据存储在磁盘中;其中,所述磁盘用于存储第四时长的时序数据,并用于提供针对第四时刻到所述第三时刻的第三时段内的数据查询,所述第四时刻早于所述第三时刻,所述第四时长大于所述第三时段的时长。13.一种时序数据读取方法,通过处理设备执行,所述处理设备包括第一内存和第二内存;所述方法包括:接收针对时序数据...
【专利技术属性】
技术研发人员:任春韶,刘家财,冯家纯,
申请(专利权)人:支付宝杭州信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。