一种面向大规模归档数据集的分割存储方法及恢复方法技术

本发明专利技术公开了一种面向大规模数据集的分割存储方法及相应的恢复方法，自动进行归档数据的分割和存储，将大量归档数据合理分散存储到多个独立的存储介质中，并在存储时保持归档数据集原目录结构，保证单个数据的完整性以及归档数据目录结构的完整一致性；此外在分割存储后能够方便高效地进行原数据集的恢复；由于采用相关性的排序方法，保证了相关数据存储在同一或邻近存储介质中，方便归档数据访问。本发明专利技术大大提高了归档数据的存储效率，合理分配资源。

【技术实现步骤摘要】
一种面向大规模归档数据集的分割存储方法及恢复方法
本专利技术属于数据存储
，涉及数据分割存储方法和恢复方法，更为具体地，是涉及一种面向大规模归档数据集的分割存储方法及相应的恢复方法。
技术介绍
随着信息技术的不断发展，数据量也在不断地增长。在各个领域，都存储了大量的需要长期保存的归档数据，这些数据一旦被存储，就很少被访问，称之为“冷数据”。通常这些数据通过人工或工具进行整理，存储在固态盘、磁盘、磁带、光盘等存储设备中，固态盘的寿命一般为1年，主流磁盘的寿命一般为10年，磁带的寿命一般为10年。为了保证大量归档数据的长期保存，则需要在一定间隔时间段内，将大量的数据迁移到新的存储介质中，同时，这些归档数据随着年份增加，会在原数据的基础上不断追加新的数据，一般以每年TB级的速率在增长，采用单个存储介质不能够满足大规模的归档数据存储需求，需要将这些归档数据进行分割，分布到多个存储介质中。通常采用人工分配或者按照存储容量边界进行自动分配，人工分配费力且低效率，而现有的自动分配方法会破坏单个数据的完整性，不方便数据的访问。
技术实现思路
为解决上述问题，本专利技术公开了一种面向大规模数据集的分本文档来自技高网...

【技术保护点】
一种面向大规模归档数据集的分割存储方法，所述大规模归档数据集具有单一的存取入口，通过相对路径能够访问数据集内部所有数据文件，其特征在于，其方法包括如下步骤：步骤1，获取归档数据集的入口路径；步骤2，根据数据集入口路径，依次获取入口路径内文件/子目录信息；步骤3，依次对入口路径内各级子目录中的文件/子目录进行相关性排序；步骤4，按照各级子目录中的文件/子目录的排列次序，依次将文件/子目录分配到数据卷中，并存储各个数据卷的存储信息，所有数据卷存储信息构成一个数据卷存储信息列表；所述依次将文件/子目录分配到数据卷中的过程包括：步骤4‑1，如当前存储介质剩余可用存储空间大于或等于当前文件或目录的数据量...

【技术特征摘要】
1.一种面向大规模归档数据集的分割存储方法，所述大规模归档数据集具有单一的存取入口，通过相对路径能够访问数据集内部所有数据文件，其特征在于，其方法包括如下步骤：步骤1，获取归档数据集的入口路径；步骤2，根据数据集入口路径，依次获取入口路径内文件/子目录信息；步骤3，依次对入口路径内各级子目录中的文件/子目录进行相关性排序；步骤4，按照各级子目录中的文件/子目录的排列次序，依次将文件/子目录分配到数据卷中，并存储各个数据卷的存储信息，所有数据卷存储信息构成一个数据卷存储信息列表；所述依次将文件/子目录分配到数据卷中的过程包括：步骤4-1，如当前存储介质剩余可用存储空间大于或等于当前文件或目录的数据量，则将该文件或目录分配到当前数据卷中；步骤4-2，如当前存储介质剩余可用存储空间小于当前文件或目录的数据量，则当前数据卷的数据分配完成，将当前文件或目录分配到下一个数据卷中；步骤5，根据数据卷存储信息列表，依次将归档数据存储到对应的存储介质中，每个独立的数据卷对应一个独立的存储介质，数据集存储到对应的存储介质中保持其原目录结构，每个文件都需要保存从其所在子目录回溯到最上层入口路径内的全目录路径。2.根据权利要求1所述的面向大规模归档数据集的分割存储方法，其特征在于，所述步骤2中依次获取入口路径内各个目录中的文件/子目录信息过程包括：步骤2-1，若当前子目录总数据量不超过存储介质的容量，直接为该子目录分配数据卷，不需要获取该子目录下的文件/子目录信息；步骤2-2，若当前子目录总数据量超过存储介质的容量，则需要获取该子目录下所有文件/子目录信息。3.根据权利要求1所述的面向大规模归档数据集的分割存储方法，其特征在于：所述文件/子目录信息包括：文件/子目录路径、名称、大小、创建时间、文件标记。4.根据权利要求1所述的面向大规模归档数据集的分割存储方法，其特征在于：所述相关性排序方法包括：步骤3-1，对于某子目录下的所有文件/子目...

【专利技术属性】
技术研发人员：曹强，李晓倩，
申请(专利权)人：南京叠嘉信息科技有限公司，
类型：发明
国别省市：江苏,32