一种分层存储数据迁移方法和系统技术方案

本发明专利技术提供一种分层存储数据迁移方法和系统，所述方法包括如下步骤：获取文件的元数据信息；根据所述的元数据信息计算文件价值；根据文件价值产生文件迁移计划表；所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列；从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移。本发明专利技术提出访问模式与存储性能相匹配的文件价值判定方法能够有效提高文件迁移的准确性和匹配度，同时减少了数据迁移时对系统性能的影响。

A method and system of hierarchical storage data migration

【技术实现步骤摘要】
一种分层存储数据迁移方法和系统
本专利技术涉及存储数据迁移管理
，具体涉及一种分层存储数据迁移方法和系统。
技术介绍
计算机和通讯技术的发展，使得数据呈爆炸式发展，数据的快速增长对存储系统的高效利用提出了更高的要求。但是根据相关机构统计，大量的数据在创建后被访问的次数非常少，有的数据长期处于休眠状态，但数据却依然存放在昂贵的存储设备上，而企业通常希望将更重要的数据放在高性能的存储设备中，以获得更高的性能和利用率。因此越来越多的机构开始意识到分层存储的重要性。分层存储是一种让数据在不同存储层次间进行迁移管理的技术。分层存储管理的出现是为了提供所需性能的同时，节约更多的成本。在所有数据中，访问频率较高的数据存放于高性能的存储层，而其他大部分数据存放于性能较低但是容量大且价格低廉的存储层，用户不需要知道数据存放在哪里，系统会自动检索出数据。从存储介质的物理结构来看，分层存储最新的发展是机械硬盘和闪存的结合。存储系统中的分层存储即将访问频率较高的热点数据存放在高速率存储层，例如SSD存储层，而将访问频率较低的冷数据存放在低速率存储层，例如本文档来自技高网...

【技术保护点】
1.一种分层存储数据迁移方法，其特征在于，包括如下步骤：/n获取文件的元数据信息；/n根据所述的元数据信息计算文件价值；/n根据文件价值产生文件迁移计划表；所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列；/n从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移。/n

【技术特征摘要】
1.一种分层存储数据迁移方法，其特征在于，包括如下步骤：
获取文件的元数据信息；
根据所述的元数据信息计算文件价值；
根据文件价值产生文件迁移计划表；所述的文件迁移计划表内的迁移任务根据文件价值按优先级顺序排列；
从文件迁移计划表里取出迁移任务，对文件在不同存储层上进行迁移。


2.根据权利要求1所述的一种分层存储数据迁移方法，其特征在于，所述的获取文件的元数据信息中，所述的元数据信息包括文件的读写频率，顺序/随机访问比例，文件读写大小，文件读写顺序/随机系数；
文件读写顺序系数
文件读写随机系数
δ∈(0，1)，设X周期的平均响应时间为t；
FsX(i)表示编号为i的文件在X周期内顺序访问的频率；
FrX(i)表示编号为i的文件在X周期内随机访问的频率；
δ是0到1之间的常数，表示历史访问频率对文件价值判定的影响大小。


3.根据权利要求1所述的一种分层存储数据迁移方法，其特征在于，所述的根据所述的元数据信息计算文件价值的步骤包括：
获取系统中所有文件在高速率存储层和低速率存储层完成所有读写操作所需要的时间；
根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数；
根据所述的存储层匹配程度系数、文件读写顺序/随机系数和当前文件的大小计算文件价值F；所述的文件价值F用于体现文件存放在高速率存储层获得的价值；

其中γ为设定的文件最小值，α为文件大小权重，Fsize(i)为当前文件的大小，ρ匹配程度系数。


4.根据权利要求3所述的一种分层存储数据迁移方法，其特征在于，所述根据获取的时间和文件读写顺序/随机系数计算存储层匹配程度系数的步骤包括：
将获取的在低速率存储层顺序访问所需时间与在高速率存储层顺序访问所需时间计算时间差，并将计算的时间差与文件读写顺序系数相乘得到顺序匹配系数；
将获取的在低速率存储层随机访问所需时间与在高速率存储层随机访问所需时间计算时间差，并将计算的时间差与文件读写随机系数相乘得到随机匹配系数；
将顺序匹配系数与随机匹配系数相加得到存储层匹配程度系数。


5.根据权利要求1所述的一种分层存储数据迁移方法，其特征在于，所述的根据文件价值产生文件迁移计划表的步骤包括：
根据文件价值的大小对文件进行排序并输出文件列表；
遍历文件列表每一个文件输出文件迁移计划表；其中，遍历文件时，若当前文件未在高速率存储层，并且文件大小小于高速率存储层的可用空间，在迁移计划表里面添加一...

【专利技术属性】
技术研发人员：毛贝贝，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32