数据存储方法和装置制造方法及图纸

技术编号:31228496 阅读:26 留言:0更新日期:2021-12-08 09:40
本发明专利技术公开了一种数据存储方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括:对预设统计周期内被使用的数据进行监测,获取数据在统计周期内的使用详情信息;在被使用的数据中的任一冷数据的使用详情信息符合冷数据迁移条件时,将该冷数据确定为待迁移冷数据;在被使用的数据中的任一热数据的使用详情信息符合热数据迁移条件、并且当前第二存储空间的存储量大于存储量阈值时,将该热数据确定为待迁移热数据;将待迁移冷数据迁移到第二存储空间,将待迁移热数据迁移到第一存储空间。该实施方式能够根据冷数据和热数据的使用情况以及热数据存储空间的当前存储量动态调整数据的冷热标签进而执行迁移。整数据的冷热标签进而执行迁移。整数据的冷热标签进而执行迁移。

【技术实现步骤摘要】
数据存储方法和装置


[0001]本专利技术涉及计算机
,尤其涉及一种数据存储方法和装置。

技术介绍

[0002]在目前的数据存储系统中,一般采用冷热数据隔离存储方案,在存储数据时按照预设规则将数据分为冷数据和热数据(例如将更新时间超过一年的数据确定为冷数据),分别存放在相应的存储空间,从而实现冷数据的集中存储以及热数据访问效率和计算效率的提升。以上存储方案只能按照预设规则硬性地区分冷热数据,当冷数据的使用频率突然在某一个时间点提升、热数据的使用频率突然降低或者热数据存储量暴增时,会出现冷数据查询效率低、热数据存储空间不足等意外情况,由此无法高效支持和适应业务需求。

技术实现思路

[0003]有鉴于此,本专利技术实施例提供一种数据存储方法和装置,能够根据冷数据和热数据的使用情况以及热数据存储空间的当前存储量动态调整数据的冷热标签进而执行迁移,从而解决现有技术中因冷热数据之间无法流动导致的冷数据查询效率低、热数据存储空间不足等问题。
[0004]为实现上述目的,根据本专利技术的一个方面,提供了一种数据存储方法。
...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:对预设统计周期内被使用的数据进行监测,获取所述数据在所述统计周期内的使用详情信息;其中,所述数据包括存储在第一存储空间的冷数据和存储在第二存储空间的热数据,每一数据的使用详情信息包括该数据在所述统计周期的使用次数和使用时间;在所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件时,将该冷数据确定为待迁移冷数据;在所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件、并且当前第二存储空间的存储量大于预设的存储量阈值时,将该热数据确定为待迁移热数据;将待迁移冷数据迁移到第二存储空间,将待迁移热数据迁移到第一存储空间。2.根据权利要求1所述的方法,其特征在于,所述对预设统计周期内被使用的数据进行监测,包括:对所述统计周期内的查询请求及其返回结果、和/或更新请求及其返回结果进行监测,确定被查询和/或被更新的数据的唯一标识;其中,数据的唯一标识根据该数据对应的库名、表名和主键形成。3.根据权利要求1所述的方法,其特征在于,所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件,包括:该冷数据的使用次数大于预设的使用次数阈值。4.根据权利要求3所述的方法,其特征在于,所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件,包括:该热数据的最近使用时间距当前的时长大于预设时长。5.根据权利要求1所述的方法,其特征在于,任一数据的使用详情信息进一步包括该数据的迁移权重,所述迁移权重为第一权重和第二权重之和;其中,第一权重为所述任一数据的使用周期与所述被使用的数据的平均使用周期的比值,第二权重为所述任一数据的使用次数与所述被使用的数据的平均使用次数的比值,所述任一数据的使用周期为该数据在所述统计周期的最早使用时间与最晚使用时间之间的时长。6.根据权利要求5所述的方法,其特征在于,所述被使用的数据中的任一冷数据的使用详情信息符合预设的冷数据迁移条件,包括:该冷数据的迁移权重大于预设的第一权重阈值;所述被使用的数据中的任一热数据的使用详情信息符合预设的热数据迁移条件,包括:该热数据的迁移权重小于预设的第二权重阈值。7.一种数据存储装置,其特征在于,包括:旁路监测单元,用于对预设统计周期内被使用的数据进行监测;冷热打标单元,用于获取所述数据在所述统计周期内的使用详情信息;其中,...

【专利技术属性】
技术研发人员:罗金
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1