一种基于多维度的冷热数据迁移方法及系统技术方案

本发明专利技术涉及一种基于多维度的冷热数据迁移方法及系统，用于控制数据在热存储节点和冷存储节点之间进行迁移，存储在热存储节点的数据根据热度分为冷数据和热数据，其中方法包括：对部分或全部数据设置迁移时间；判断数据为热数据或者冷数据，若判断数据为热数据则执行热数据迁移步骤，若判断数据为冷数据则执行冷数据迁移步骤；热数据迁移步骤：判断热数据是否设置了迁移时间，若是则根据迁移时间将热数据从热存储节点迁移至冷存储节点，若否则将热数据继续存储在热存储节点；冷数据迁移步骤：将冷数据立即迁移至冷存储节点。本发明专利技术可以更加合理地让热度不同的数据存储在不同的存储区，减少数据在冷热存储区之间频繁迁移。

A method and system of hot and cold data migration based on multi dimension

The invention relates to a cold and hot data migration method and system based on multi dimensions, which is used to control the migration of data between the hot storage node and the cold storage node. The data stored in the hot storage node is divided into cold data and hot data according to the heat degree, wherein the method includes: setting migration time for some or all data; judging whether the data is hot data or cold data, if judging the data For hot data, perform the hot data migration step; for cold data, perform the cold data migration step; for hot data migration step, determine whether the migration time is set for the hot data, if so, migrate the hot data from the hot storage node to the cold storage node according to the migration time, otherwise continue to store the hot data in the hot storage node; for cold data migration step, transfer the cold data Migrate to a cold storage node now. The invention can store data with different heat degrees in different storage areas more reasonably, and reduce frequent data migration between cold and hot storage areas.

【技术实现步骤摘要】
一种基于多维度的冷热数据迁移方法及系统
本专利技术涉及数据存储
，更具体地，涉及一种基于多维度的冷热数据迁移方法及系统。
技术介绍
在现有的分布式存储系统中，设有冷存储节点和热存储节点，通常根据访问频率或者基于用户的访问操作收集操作日志对数据进行分类，将数据分为冷数据和热数据，然后根据冷热数据类型将数据存储或迁移至具体的冷或热存储节点。然而根据冷热数据类型来实现存储或迁移的策略，使得冷热数据的迁移策略指标单一，只能根据已经设定的冷热数据类型来进行迁移操作，对于数据量庞大的分布式存储系统来说单一的迁移策略指标极易导致数据在冷热存储节点间频繁迁移和回调，这不仅会影响访问数据的效率，也极易造成磁盘或光盘不必要的读写损耗，影响磁盘或光盘的使用期限。
技术实现思路
本专利技术旨在克服上述现有技术的至少一种缺陷(不足)，提供一种基于多维度的冷热数据迁移方法及系统，可以更加合理地让热度不同的数据存储在不同的存储区，减少数据在冷热存储区之间频繁迁移。本专利技术采取的技术方案是：一种基于多维度的冷热数据迁移方法，用于控制数据在热存储节点和冷存储节点之间进行迁移，存储在热存储节点的数据根据热度分为冷数据和热数据，包括：对部分或全部所述数据设置迁移时间；判断所述数据为热数据或者冷数据，若判断所述数据为热数据则执行热数据迁移步骤，若判断所述数据为冷数据则执行冷数据迁移步骤；热数据迁移步骤：判断所述热数据是否设置了迁移时间，若是则根据所述迁移时间将所述热数据从热存储节点迁移至冷存储节点，若否则将所述热数据继续存储在热存储节点；冷数据迁移步骤：将所述冷数据立即迁移至冷存储节点。对于已知访问频率的数据或者能够预判未来访问频率的数据，可以定制化迁移时间。本专利技术对数据设置迁移时间，使得存储在热存储节点的数据被判断为热数据时可以在所设置的迁移时间从热存储节点迁移至冷存储节点，对存储在热存储节点的冷数据则立即从热存储节点迁移至冷存储节点。在冷数据和热数据已经区分定性的基础上，增加迁移时间这个维度，可以更合理地将数据迁移至相应的存储节点，减少数据在冷热存储节点的迁移次数。进一步地，所述基于多维度的冷热数据迁移方法还包括：对迁移时间一致的所述数据设置相同的迁移标识，不同的所述迁移标识对应设置不同的迁移时间；所述热数据迁移步骤还包括：根据所述迁移标识获取对应的迁移时间，根据所述迁移时间将设置了相同迁移标识的所述热数据从热存储节点批量迁移至冷存储节点。当数据的类型或者内容是相同或相近时，其当下的访问频率或者未来预测的访问频率是相同或相近的，其迁移时间可以是相同的，可以对统一迁移时间的数据设置相同的迁移标识，使得存储在热数据存储节点并且设置了相同迁移标识的热数据可以在统一的迁移时间批量地从热存储节点迁移至冷存储节点。在冷数据和热数据已经区分定性的基础上，根据数据类型或数据内容等设置迁移标识，增加迁移标识这个维度，可以更合理地批量将数据迁移至相应的存储节点。进一步地，所述迁移时间记录在数据的元信息中。将迁移时间记录在数据的元信息中，可以方便迁移时间的设置和管理。进一步地，所述迁移标识为记录在数据的元信息中的时间标签或者记录在数据的文件名的前缀或中缀或后缀。在元信息中记录时间标签或者在文件名中增加前缀或中缀或后缀作为迁移标识，可以方便迁移标识的设置和管理。进一步地，所述基于多维度的冷热数据迁移方法还包括：定时对未设置迁移时间的部分或全部热数据自动设置迁移时间和/或定时将未设置迁移时间的部分或全部热数据从热存储节点自动迁移至冷存储节点。对于未知访问频率的数据或者不能够预判未来访问频率的数据，可以通过定时任务执行数据的迁移。本专利技术通过定时对未设置迁移时间的热数据设置迁移时间和/或定时地迁移未设置迁移时间的热数据，可以进一步合理地将数据迁移到相应的存储节点，减少数据在冷热存储节点不合理的迁移。进一步地，所述对部分或全部所述数据设置迁移时间，包括：根据用户对所述数据的访问记录和/或用户输入的自定义信息对部分或全部所述数据设置迁移时间。通过对用户对数据的访问记录统计或者接受用户的自定义，可以使得所设置的迁移时间更加贴合用户的需求，适应用户对数据的使用习惯，可以进一步合理地将数据迁移到相应的存储节点，减少数据在冷热存储节点不合理的迁移。一种基于多维度的冷热数据迁移系统，用于控制数据在热存储节点和冷存储节点之间进行迁移，存储在热存储节点的数据根据热度分为冷数据和热数据，包括：迁移设置模块，用于对部分或全部所述数据设置迁移时间；冷热判断模块，用于判断所述数据为热数据或者冷数据；数据迁移模块，用于当所述冷热判断模块判断所述数据为热数据时，判断所述热数据是否设置了迁移时间，若是则根据所述迁移时间将所述热数据从热存储节点迁移至冷存储节点，若否则将所述热数据继续存储在热存储节点；当所述冷热判断模块判断所述数据为冷数据时，将所述冷数据立即迁移至冷存储节点。对于已知访问频率的数据或者能够预判未来访问频率的数据，可以定制化迁移时间。迁移设置模块对数据设置迁移时间，使得数据迁移模块可以将存储在热存储节点的热数据在所设置的迁移时间从热存储节点迁移至冷存储节点，对存储在热存储节点的冷数据则立即从热存储节点迁移至冷存储节点。在冷数据和热数据已经区分定性的基础上，增加迁移时间这个维度，可以更合理地将数据迁移至相应的存储节点，减少数据在冷热存储节点的迁移次数。进一步地，所述基于多维度的冷热数据迁移系统还包括：迁移设置模块，还用于对迁移时间一致的所述数据设置相同的迁移标识，不同的所述迁移标识对应设置不同的迁移时间；所述数据迁移模块，还用于根据所述迁移标识获取对应的迁移时间，根据所述迁移时间将设置了相同迁移标识的所述热数据从热存储节点批量迁移至冷存储节点。当数据的类型或者内容是相同或相近时，其当下的访问频率或者未来预测的访问频率是相同或相近的，其迁移时间可以是相同的，迁移设置模块对统一迁移时间的数据设置相同的迁移标识，使得存储在热数据存储节点并且设置了相同迁移标识的热数据可以在统一的迁移时间批量地从热存储节点迁移至冷存储节点。在冷数据和热数据已经区分定性的基础上，根据数据类型或数据内容等设置迁移标识，增加迁移标识这个维度，可以更合理地批量将数据迁移至相应的存储节点。进一步地，所述基于多维度的冷热数据迁移系统还包括：定时迁移模块，用于定时对未设置迁移时间的部分或全部热数据自动设置迁移时间和/或定时将未设置迁移时间的部分或全部热数据从热存储节点自动迁移至冷存储节点。对于未知访问频率的数据或者不能够预判未来访问频率的数据，可以通过定时任务执行数据的迁移。定时迁移模块定时对未设置迁移时间的热数据设置迁移时间和/或定时地迁移未设置迁移时间的热数据，可以进一步合理地将数据迁移到相应的存储节点，减少数据在冷热存储节点不合理的迁移。进一步地，所述基于多维度的冷热数据迁移系本文档来自技高网...

【技术保护点】
1.一种基于多维度的冷热数据迁移方法，用于控制数据在热存储节点和冷存储节点之间进行迁移，存储在热存储节点的数据根据热度分为冷数据和热数据，其特征在于，包括：/n对部分或全部所述数据设置迁移时间；/n判断所述数据为热数据或者冷数据，若判断所述数据为热数据则执行热数据迁移步骤，若判断所述数据为冷数据则执行冷数据迁移步骤；/n热数据迁移步骤：判断所述热数据是否设置了迁移时间，若是则根据所述迁移时间将所述热数据从热存储节点迁移至冷存储节点，若否则将所述热数据继续存储在热存储节点；/n冷数据迁移步骤：将所述冷数据立即迁移至冷存储节点。/n

【技术特征摘要】
1.一种基于多维度的冷热数据迁移方法，用于控制数据在热存储节点和冷存储节点之间进行迁移，存储在热存储节点的数据根据热度分为冷数据和热数据，其特征在于，包括：
对部分或全部所述数据设置迁移时间；
判断所述数据为热数据或者冷数据，若判断所述数据为热数据则执行热数据迁移步骤，若判断所述数据为冷数据则执行冷数据迁移步骤；
热数据迁移步骤：判断所述热数据是否设置了迁移时间，若是则根据所述迁移时间将所述热数据从热存储节点迁移至冷存储节点，若否则将所述热数据继续存储在热存储节点；
冷数据迁移步骤：将所述冷数据立即迁移至冷存储节点。


2.根据权利要求1所述的一种基于多维度的冷热数据迁移方法，其特征在于，还包括：
对迁移时间一致的所述数据设置相同的迁移标识，不同的所述迁移标识对应设置不同的迁移时间；
所述热数据迁移步骤还包括：
根据所述迁移标识获取对应的迁移时间，根据所述迁移时间将设置了相同迁移标识的所述热数据从热存储节点批量迁移至冷存储节点。


3.根据权利要求1所述的一种基于多维度的冷热数据迁移方法，其特征在于，所述迁移时间记录在数据的元信息中。


4.根据权利要求2所述的一种基于多维度的冷热数据迁移方法，其特征在于，所述迁移标识为记录在数据的元信息中的时间标签或者记录在数据的文件名的前缀或中缀或后缀。


5.根据权利要求1所述的一种基于多维度的冷热数据迁移方法，其特征在于，还包括：
定时对未设置迁移时间的部分或全部热数据自动设置迁移时间和/或定时将未设置迁移时间的部分或全部热数据从热存储节点自动迁移至冷存储节点。


6.根据权利要求1至5任一项所述的一种基于多维度的冷热数据迁移方法，其特征在于，所述对部分或全部所述数据设置迁移时间，包括：<...

【专利技术属性】
技术研发人员：钟国裕，张龙，
申请(专利权)人：广东紫晶信息存储技术股份有限公司，
类型：发明
国别省市：广东;44