一种计算数据温度并进行分层存储管理的方法技术

技术编号:40580366 阅读:26 留言:0更新日期:2024-03-06 17:23
本发明专利技术涉及一种计算数据温度并进行分层存储管理的方法,属于计算机数据处理领域。根据数据访问时间、数据访问次数、数据属性和发出访问的用户属性,构建数据温度计算模型,管理数据在本地热数据库、本地冷数据库和远程冷数据库之间动态迁移,将新产生的数据和本地温度升高的冷数据存储在热数据库,周期性进行时间驱动的迁移,将预测下周期即将被迁移至热数据库的数据和当前温度较高的数据存储在热数据库,基于单位数据存储在远程相比于存储在本地的收益,决定冷数据是否需要迁移至远程。本发明专利技术能够在保证数据访问性能的前提下大幅降低费用支出,预测新数据量,平衡热存储空间利用率和数据迁移开销,挖掘数据周期性迁移规律预迁移数据,避免迁移存在时间滞后的问题。

【技术实现步骤摘要】

本专利技术属于计算机数据处理领域,具体涉及一种计算数据温度并进行分层存储管理的方法


技术介绍

1、数据中心的主要功能之一就是对数据的存储。近年来,数据中心的数据量以指数级的速度迅速增加,人们对数据管理和处理能力的需求日益增长,这对数据中心的存储能力提出了更高的要求。为了应对数据量的急剧增加,必须考虑对数据进行冷热识别,将数据分配到不同的存储介质上进行存储,以实现数据访问响应速度和数据中心运营成本之间的平衡。

2、hdd机械硬盘作为最常用的存储设备,价格较低但读取速度较慢,无法满足高速访问的需求,适合作为冷数据库的存储设备。相反,固态硬盘ssd的读取速度较快,但其价格较高,不能大规模应用,适合作为热数据库的存储设备。

3、当前大多发达城市土地开发接近饱和,水电等基础物质供应也处于紧张状态,而一些内陆地区新能源发展成效显著,电价更低,气温也相对较低,适合建设数据中心,“东数西存”得到了广泛的重视和发展,如何在新的数据管理需求和形势下进行数据管理是一个亟待研究和解决的问题。

4、在一段时间内,数据的访问满足“二八定律”,即大本文档来自技高网...

【技术保护点】

1.一种计算数据温度并进行分层存储管理的方法,其特征在于,包括:

2.根据权利要求1所述的一种计算数据温度并进行分层存储管理的方法,其特征在于,所述的数据温度计算模型描述如下:

3.根据权利要求1所述的一种计算数据温度并进行分层存储管理的方法,其特征在于,挖掘数据周期性迁移规律的具体方法如下:

4.根据权利要求1所述的一种计算数据温度并进行分层存储管理的方法,其特征在于,在本地冷热数据存储管理中,所述新数据产生时发生迁移描述如下:

5.根据权利要求1所述的一种计算数据温度并进行分层存储管理的方法,其特征在于,在本地冷热数据存储管理中,所述本...

【技术特征摘要】

1.一种计算数据温度并进行分层存储管理的方法,其特征在于,包括:

2.根据权利要求1所述的一种计算数据温度并进行分层存储管理的方法,其特征在于,所述的数据温度计算模型描述如下:

3.根据权利要求1所述的一种计算数据温度并进行分层存储管理的方法,其特征在于,挖掘数据周期性迁移规律的具体方法如下:

4.根据权利要求1所述的一种计算数据温度并进行分层存储管理的方法,其特征在于,在本地冷热数据存储管理中,所述新数据产生时发生迁移描述如下:

5.根据权利要求1所述的一种计算数据温度并进行分层存储管理的方法,其特征在于,在本地冷热数据存储管理中,所述本地冷数据温度升高时发生迁移描述如下:

6.根据权利要求1所述的一种计算数据温度并进行分层存储管理的...

【专利技术属性】
技术研发人员:王云岚马世聪赵天海谷建华侯正雄李秀春
申请(专利权)人:西北工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1