冷热数据存储方法、装置、设备及存储介质制造方法及图纸

技术编号:40545712 阅读:21 留言:0更新日期:2024-03-05 19:03
本申请提供一种冷热数据存储方法、装置、设备及存储介质。该方法包括:获取待识别数据信息,所述待识别数据信息包括待识别数据特征和所述待识别数据的源目录挂载的根目录,所述源目录为所述待识别数据所在源存储位置;根据所述根目录和预设映射关系确定所述待识别数据的冷热识别策略;所述冷热识别策略为频次维度识别策略或时频维度识别策略,所述预设映射关系为根目录与冷热识别策略标识之间的映射关系;根据所述待识别数据特征和所述待识别数据的冷热识别策略对所述待识别数据进行分层存储。本申请的方法,提高了冷热数据识别的精确度。

【技术实现步骤摘要】

本申请涉及大数据,尤其涉及一种冷热数据存储方法、装置、设备及存储介质


技术介绍

1、随着数据量的增加,冷热数据的智能识别和分层存储受到各企业的广泛关注。为了提高存储空间利用率,常将热数据保留在高性能的存储设备中,以应对日常频繁的访问与更新,满足用户对事务型数据处理的需求;冷数据则被迁移到低成本的存储设备里,以减轻数据的维护压力,提供查询访问的能力。

2、相关技术中,基于数据编排(alluxio)工具对数据进行自动生命周期管理,通过时间策略对冷热数据进行识别。示例性的,预先设定过期时间,将该过期时间之前的数据确定为冷数据,在该过期时间之后的数据确定为热数据,从而实现冷热数据的自动分层。但这样基于时间维度识别冷热数据的识别精确度较低。


技术实现思路

1、本申请提供一种冷热数据存储方法、装置、设备及存储介质,用以解决冷热数据的识别精确度较低的技术问题。

2、第一方面,本申请提供一种冷热数据存储方法,包括:

3、获取待识别数据信息,待识别数据信息包括待识别数据特征和待识别数据的源本文档来自技高网...

【技术保护点】

1.一种冷热数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述冷热识别策略中包括所述待识别数据对应的目标目录,所述目标目录为所述待识别数据的目标存储位置,所述根据所述待识别数据特征和所述待识别数据的冷热识别策略对所述待识别数据进行分层存储,包括:

3.根据权利要求2所述的方法,其特征在于,所述待识别数据特征包括所述待识别数据在预设时间段内被访问的频次以及所述待识别数据的最近访问时间或最近修改时间,所述根据所述待识别数据特征和所述待识别数据的冷热识别策略确定所述待识别数据中的冷数据,包括:

4.根据权利要求2所述的方...

【技术特征摘要】

1.一种冷热数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述冷热识别策略中包括所述待识别数据对应的目标目录,所述目标目录为所述待识别数据的目标存储位置,所述根据所述待识别数据特征和所述待识别数据的冷热识别策略对所述待识别数据进行分层存储,包括:

3.根据权利要求2所述的方法,其特征在于,所述待识别数据特征包括所述待识别数据在预设时间段内被访问的频次以及所述待识别数据的最近访问时间或最近修改时间,所述根据所述待识别数据特征和所述待识别数据的冷热识别策略确定所述待识别数据中的冷数据,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述待识别数据特征和所述待识别数据的冷热识别策略确定所述待识别数据中的冷数据,包括:

5.根据权利...

【专利技术属性】
技术研发人员:郭炜傅正斌张亚威李昌盛杨一帆初宝祥
申请(专利权)人:中国联合网络通信集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1