数据存储管理方法、装置和计算机可读存储介质制造方法及图纸

技术编号:25707828 阅读:26 留言:0更新日期:2020-09-23 02:54
本公开涉及一种数据存储管理方法、装置和计算机可读存储介质,涉及数据存储技术领域。本公开的方法包括:获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数;根据数据存储单元在对应的预设时间区间内的访问次数,确定数据存储单元是否属于待销毁存储单元;在数据存储单元属于待销毁存储单元的情况下,发出待销毁提醒。本公开的方法能够自动对大数据集群中的数据存储进行有效管理,及时将不再需要的数据存储单元进行销毁,释放存储空间,提高数据的查询效率和数据存储管理的效率。

【技术实现步骤摘要】
数据存储管理方法、装置和计算机可读存储介质
本公开涉及数据存储
,特别涉及一种数据存储管理方法、装置和计算机可读存储介质。
技术介绍
随着互联网技术的发展,数据呈现爆炸式增长。数据可以存储于大数据集群或者数据仓库中,用户可以进行查询、添加、删除等操作。目前,随着数据量不断增加,工作人员可能根据实际需求对数据进行筛查,将一些不需要的数据存储单元进行删除。
技术实现思路
专利技术人发现:由工作人员进行数据筛查费时费力,可能造成误删除,当数据开发人员利用某一历史数据进行开发时,该数据有可能因为空间问题会删除,给开发人员开发带来困难。如果不进行存储管理和数据的删除,数据存储单元随着时间的推移越来越胖,数据的查询速度缓慢。本公开所要解决的一个技术问题是:如何对数据存储进行有效管理,提高数据存储管理的效率。根据本公开的一些实施例,提供的一种数据存储管理方法,包括:获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数;根据数据存储单元在对应的预设时间区间内的访问次数,确定数据存储单元是否属于待销毁存储本文档来自技高网...

【技术保护点】
1.一种数据存储管理方法,包括:/n获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数;/n根据所述数据存储单元在对应的预设时间区间内的访问次数,确定所述数据存储单元是否属于待销毁存储单元;/n在所述数据存储单元属于待销毁存储单元的情况下,发出待销毁提醒。/n

【技术特征摘要】
1.一种数据存储管理方法,包括:
获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数;
根据所述数据存储单元在对应的预设时间区间内的访问次数,确定所述数据存储单元是否属于待销毁存储单元;
在所述数据存储单元属于待销毁存储单元的情况下,发出待销毁提醒。


2.根据权利要求1所述的数据存储管理方法,其中,
所述获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数包括:
周期性查询所述数据存储单元的最后一次访问时间;
根据所述数据存储单元的最后一次访问时间的变化,更新访问次数的记录;
根据访问次数的记录确定在对应的预设时间区间内的访问次数。


3.根据权利要求1所述的数据存储管理方法,其中,
所述获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数包括:
在所述数据存储单元为数据表的情况下,根据所述数据表所处的时间阶段,获取所述数据表在所述时间阶段对应的预设时间区间内的访问次数;
其中,所述数据表被设置生命周期,所述生命周期被划分为多个时间阶段。


4.根据权利要求1所述的数据存储管理方法,其中,
所述获取大数据集群内数据存储单元在对应的预设时间区间内的访问次数包括:
在所述数据存储单元为分区文件的情况下,每隔预设时间段获取分区文件在对应的预设时间区间内的访问次数。


5.根据权利要求3所述的数据存储管理方法,其中,
所述根据所述数据存储单元在对应的预设时间区间内的访问次数,确定所述数据存储单元是否属于待销毁存储单元包括:
在所述数据存储单元为数据表的情况下,根据所述数据表所处的时间阶段获取所述时间阶段对应的第一访问次数阈值;在所述数据表在对应的预设时间区间内的访问次数小于或等于所述第一访问次数阈值的情况下,确定所述数据表属于待销毁存储单元;其中,不同时间阶段对应的第一访问次数阈值相同或不同。


6.根据权利要求3所述的数据存储管理方法,其中,
所述根据所述数据存储单元在对应的预设时间区间内的访问次数,确定所述数据存储单元是否属于待销毁存储单元包括:
在所述数据存储单元为分区文件的情况下,在所述分区文件在对应的预设时间区间内的访问次数小于或等于所述第二访问次数阈值的情况下,确定所述分区文件属于待销毁存储单元。


7.根据权利要求3所述的数据存储管理方法,还包括:
根据所述数据表在所述时间阶段对应的预设时间区间内的访问次数,将所述数据表分配至不同的存储设备进行存储。


8.根据权利要求7所述的数据存储管理方法,其中,
所述将所述数据存储单元分配至不同的存储设备进行存储包括:
将所述数据表在所述时间阶段对应的预设时间区间内的访问次数与所述时间阶段对应的多个访问次数阈值进行比对,确定所述数据表的数据热度等级;
根据所述数据表的数据热度等级,将所述数据表分配至对应性能的存储设备进行存储。


9.根据权利要求1-8任一项所述的数据存储管理方法,还包括:
在所述数据存储单元不属于待销毁存储单元,且所述数据存储单元的生命周期达到的情况下,重新配置所述数据存储单元的生命周期。


10.一种数据存...

【专利技术属性】
技术研发人员:吕苏娜
申请(专利权)人:北京京东尚科信息技术有限公司北京京东世纪贸易有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1