System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种索引数据的存储方法及装置制造方法及图纸_技高网

一种索引数据的存储方法及装置制造方法及图纸

技术编号:40956293 阅读:3 留言:0更新日期:2024-04-18 20:33
本申请公开了一种索引数据的存储方法及装置,方法包括:首先获得至少一个缓存服务请求对应的索引数据,然后将索引数据的存储地址以第一存储周期记录在第一存储设备中,生成第一目标索引数据,和/或将索引数据的存储地址以第二存储周期同步存储至第二存储设备中,生成第二目标索引数据,实现索引数据的分级存储,它提出了一种新的索引数据存储方式,实现索引数据的多级存储和索引加载方式的优化,不依赖索引同步机制,直接保存缓存服务请求的索引数据,且能够以更高的速度同步保存索引数据,实现后续在不影响服务性能的前提下,使得缓存服务请求初始化的时间有效的缩短并且能够通过校验的索引,保证缓存服务请求的稳定性。

【技术实现步骤摘要】

本专利技术属于数据存储,特别是一种索引数据的存储方法及装置


技术介绍

1、cdn(content delivery network)即内容分发网络,cdn架构是建立在目前已有的网络基础上实现的。目前基于cdn的数据存储技术会在客户端请求时将服务请求逐级缓存到各层级服务器中。在对文件进行缓存的过程中,每个请求都需要一个索引来对索引进行标记。下次在查找缓存时,利用索引去查找相应的内容,能够快速地找到磁盘中对应的缓存对象。

2、目前的技术方案时先将索引保存在内存中,在最小程度的对性能的影响下,每隔一段时间定期地将索引同步到磁盘上,将索引数据保存到磁盘上,每个索引数据在同步时都需要多次的磁盘io,才能将索引数据完整地同步到磁盘中。在缓存服务被强制停止时,内存中的索引会立刻写回磁盘,消耗对于磁盘io完成这个写回操作,这个过程中内存中索引数据可能没有完全同步成功。因此在服务发生启动或者重启时,需要从磁盘上重新加载索引并对之前写入磁盘的缓存文件做校验,如果索引和存储的信息不一致的情况,需要对索引完成校验后,删除多余的索引和对应的内容,重新将索引同步到磁盘中。这会导致重启消耗较长的时间,且如果未同步的索引量较大,消耗的时间可能会更长,造成磁盘io资源大量的占用,可能会造成服务的崩溃,造成严重的后果,这成为急需解决的技术问题。


技术实现思路

1、本专利技术的目的是提供一种索引数据的存储方法及装置,以解决现有技术中的不足,它提出了一种新的索引数据存储方式,实现索引数据的多级存储和索引加载方式的优化,不依赖索引同步机制,直接保存缓存服务请求的索引数据,且能够以更高的速度同步保存索引数据,实现后续在不影响服务性能的前提下,使得缓存服务请求初始化的时间有效的缩短并且能够通过校验的索引,保证缓存服务请求的稳定性。

2、本申请的一个实施例提供了一种索引数据的存储方法,所述方法包括:

3、获得至少一个缓存服务请求对应的索引数据;

4、将所述索引数据的存储地址以第一存储周期记录在第一存储设备中,生成第一目标索引数据;和/或

5、将所述索引数据的存储地址以第二存储周期同步存储至第二存储设备中,生成第二目标索引数据;其中,所述第一存储周期小于所述第二存储周期。

6、可选的,所述第一存储设备包括非易失性内存设备,所述第二存储设备包括磁盘设备。

7、可选的,所述获得至少一个缓存服务请求对应的索引数据之前,所述方法还包括:

8、接收缓存服务请求的初始化操作指令。

9、可选的,所述将所述索引数据的存储地址以第一存储周期记录在第一存储设备中,生成第一目标索引数据,包括:

10、在达到第一存储周期时,将每个所述第一存储周期内待存入第一存储设备中的至少一个索引数据,同步存储至第一存储设备中。

11、可选的,所述方法还包括:

12、根据所述第一存储周期内存入所述第一存储设备中的第一目标索引数据的预设加载速度,调整所述第一存储周期。

13、可选的,所述将所述索引数据的存储地址以第二存储周期同步存储至第二存储设备中,生成第二目标索引数据,包括:

14、当接收到所述索引数据的待存储信息时,将所述待存储信息写入所述第二存储设备区域中的预设第一子存储设备,其中,所述第二存储设备区域中还包括预设第一子存储设备之外的一个或多个子存储设备;

15、判断所述预设第一子存储设备是否被写满所述待存储信息;

16、若确认所述预设第一子存储设备未被写满所述待存储信息,则将下一个第二存储周期中接收到的待存储信息写入所述预设第一子存储设备的剩余存储空间,并返回执行所述判断所述预设第一子存储设备是否被写满所述待存储信息的步骤。

17、可选的,所述方法还包括:

18、若确认所述预设第一子存储设备被写满所述待存储信息,则采用直接输入输出io访问方法,将所述预设第一子存储设备中存储的所述待存储信息写入预设第二子存储设备。

19、本申请的又一实施例提供了一种索引数据的存储装置,所述装置包括:

20、获得模块,用于获得至少一个缓存服务请求对应的索引数据;

21、第一生成模块,用于将所述索引数据的存储地址以第一存储周期记录在第一存储设备中,生成第一目标索引数据;和/或

22、第二生成模块,用于将所述索引数据的存储地址以第二存储周期同步存储至第二存储设备中,生成第二目标索引数据;其中,所述第一存储周期小于所述第二存储周期。

23、本申请的又一实施例提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时实现上述任一项中所述的方法。

24、本申请的又一实施例提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以实现上述任一项中所述的方法。

25、与现有技术相比,本专利技术首先获得至少一个缓存服务请求对应的索引数据,然后将索引数据的存储地址以第一存储周期记录在第一存储设备中,生成第一目标索引数据,和/或将索引数据的存储地址以第二存储周期同步存储至第二存储设备中,生成第二目标索引数据,实现索引数据的分级存储,它提出了一种新的索引数据存储方式,实现索引数据的多级存储和索引加载方式的优化,不依赖索引同步机制,直接保存缓存服务请求的索引数据,且能够以更高的速度同步保存索引数据,实现后续在不影响服务性能的前提下,使得缓存服务请求初始化的时间有效的缩短并且能够通过校验的索引,保证缓存服务请求的稳定性。

本文档来自技高网...

【技术保护点】

1.一种索引数据的存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一存储设备包括非易失性内存设备,所述第二存储设备包括磁盘设备。

3.根据权利要求2所述的方法,其特征在于,所述获得至少一个缓存服务请求对应的索引数据之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述索引数据的存储地址以第一存储周期记录在第一存储设备中,生成第一目标索引数据,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求4所述的方法,其特征在于,所述将所述索引数据的存储地址以第二存储周期同步存储至第二存储设备中,生成第二目标索引数据,包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.一种索引数据的存储装置,其特征在于,所述装置包括:

9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时实现所述权利要求1至7任一项中所述的方法。

10.一种电子设备,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以实现所述权利要求1至7任一项中所述的方法。

...

【技术特征摘要】

1.一种索引数据的存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一存储设备包括非易失性内存设备,所述第二存储设备包括磁盘设备。

3.根据权利要求2所述的方法,其特征在于,所述获得至少一个缓存服务请求对应的索引数据之前,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述索引数据的存储地址以第一存储周期记录在第一存储设备中,生成第一目标索引数据,包括:

5.根据权利要求4所述的方法,其特征在于,所述方法还包括:

6.根据权利要求4所述的方法,其特征在...

【专利技术属性】
技术研发人员:毕天枢
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1