【技术实现步骤摘要】
数据存储的方法和装置
[0001]本申请涉及数据存储
,更具体地,涉及一种数据存储的方法和装置。
技术介绍
[0002]对于块存储装置(例如,固态驱动器(Solid State Drive,SSD)),系统的垃圾回收(Garbage Collection,GC)性能是需要格外考虑的一项指标。
[0003]在垃圾回收过程中,源块中的垃圾数据(无效页)被丢弃,有用数据(有效页)被搬移到目标块。
[0004]由于将数据存储到块中时,未考虑数据的预期失效时间,因此源块中可能存在少量无效页和较多有效页。在垃圾回收过程中,较多有效页的搬迁会增加写放大,从而导致低的垃圾回收性能。
[0005]因此,亟需一种能够降低块存储装置的写放大以提高垃圾回收性能的数据存储的方法和装置。
技术实现思路
[0006]本专利技术可提供一种能够降低块存储装置的写放大并提高系统的垃圾回收性能的数据存储的方法和装置。所述方法和装置可通过将具有相似失效时间的数据存储到相同的块集合中,减少在GC过程中搬移的有效页,从而降 ...
【技术保护点】
【技术特征摘要】
1.一种数据存储的方法,所述方法包括:响应于在日志结构合并树LSM
‑
Tree的层中创建新数据文件,基于记录的在所述LSM
‑
Tree中创建过的数据文件的属性信息和所述新数据文件的属性信息确定所述新数据文件的预期失效时间;以及为所述新数据文件分配存储设备中与所述预期失效时间对应的块集合,其中,所述记录的创建过的数据文件的属性信息指示所述创建过的数据文件中的每个数据文件在所述LSM
‑
Tree中所在的层,所述创建过的数据文件中的每个数据文件的键key信息,所述创建过的数据文件中的每个数据文件的寿命信息,所述创建过的数据文件包括未失效数据文件,或,未失效数据文件和在所述新数据文件的创建时间前的预设时间段内失效的失效数据文件两者,未失效数据文件的寿命信息由所述未失效文件的创建时间和预期失效时间表示,失效数据文件的寿命信息由记录的所述失效数据文件的寿命信息,或所述失效数据文件的删除时间和创建时间两者表示。2.如权利要求1所述的方法,其中,所述记录的创建过的数据文件的属性信息还指示所述创建过的数据文件中的每个数据文件在所在层的序列号order number,所述创建过的数据文件中的每个数据文件与所述每个数据文件所在的层相邻的层中的相邻层数据文件的key重叠率。3.如权利要求1所述的方法,其中,确定所述新数据文件的预期失效时间的步骤包括:基于从所述记录的创建过的数据文件的属性信息中确定的第一寿命信息,第二寿命信息和第三寿命信息中的至少一个寿命信息,预测所述新数据文件的寿命信息;基于所述新数据文件的创建时间和预测的所述新数据文件的寿命信息,确定所述新数据文件的预期失效时间,其中,所述第一寿命信息为所述新数据文件所在层的失效数据文件的寿命信息,所述第二寿命信息为所述新数据文件所在层的未失效数据文件的寿命信息,所述第三寿命信息为所述新数据文件所在层的上一层的未失效数据文件的寿命信息。4.如权利要求1所述的方法,其中,确定所述新数据文件的预期失效时间的步骤包括:基于从所述记录的创建过的数据文件的属性信息中确定的第一寿命信息以及第四寿命信息或第五寿命信息,预测所述新数据文件的寿命信息;基于所述新数据文件的创建时间和预测的所述新数据文件的寿命信息,确定所述新数据文件的预期失效时间,其中,所述第一寿命信息为所述新数据文件所在层的失效数据文件的寿命信息,所述第四寿命信息为与所述新数据文件同层的与所述新数据文件相邻的未失效数据文件的寿命信息,所述第五寿命信息为所述新数据文件所在层的相邻层的,且与所述新数据文件的key信息重叠的未失效数据文件的寿命信息。5.如权利要求1所述的方法,其中,确定所述新数据文件的预期失效时间的步骤包括:基于从所述记录的创建过的数据文件的属性信息中确定的第一属性信息、第二属性信息或第三属性信息,使用已训练的机器学习模型,预测所述新数据文件的寿命信息;以及基于所述新数据文件的创建时间和预测的所述新数据文件的寿命信息,确定所述新数
据文件的预期失效时间,其中,所述第一属性信息为所述新数据文件所在层的失效数据文件的寿命信息,所述第二属性信息为与所述新数据文件同层的与所述新数据文件相邻的未失效数据文件的寿命信息,所述第三属性信息为所述新数据文件所在层的相邻层的,且与所述新数据文件的key信息重叠的未失效数据文件的寿命信息。6.如权利要求1所述的方法,其中,为所述新数据文件分配块集合的步骤包括:确定预期失效时间距离集合,其中,所述预期失效时间距离集合包括每个已写入但未写满数据的块集合的预期失效时间与所述新数据文件的预期失效时间的距离,所述每个块集合的预期失效时间与所述新数据文件的预期失效时间的距离是基于所述新数据文件的预期失效时间和所述每个块集合中未失效数据文件的预期失效时间获得;以及基于所述预期失效时间距离集合,为所述新数据文件分配块集...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。