【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
1、在本专利技术的一些实施例中，本专利技术涉及碎片整理，更具体地，但不排他地，涉及分级存储系统的碎片整理。
2、在文件系统的维护中，碎片整理是一个减少碎片化程度的过程。碎片整理通过将用于存储文件的大容量存储设备的内容以物理方式组织到最小数量的连续区域(片段、区块)中来实现。它还尝试使用压缩来创建更大的自由空间区域，以阻止碎片返回。一些碎片整理实用程序尝试将较小的文件一起保存在单个目录中，因为它们通常是按顺序访问的。
3、分级存储系统通过在高成本、速度较慢的存储介质与低成本、速度较快的存储介质之间自动移动数据来管理。虽然理想的做法是将所有数据存储在提供快速读访问的快速存储介质上，但在实践中，这种方案成本高昂。大部分数据存储在成本较低但速度较慢的存储介质上。将一些数据移动到成本较高但速度较快的存储介质上，目标是充分实现存储介质的访问时间与成本之间的权衡。成本较高但速度较快的存储介质可以作为成本较低但速度较慢的存储介质的缓存。
技术实现思路
1、本专利技术的目的是提供一种用于分级存储管理的计算设备、系统、计算机程序产品和方法。
2、上述和其它目的通过独立权利要求请求保护的特征实现。其它实施方式在从属权利要求、说明书和附图中是显而易见的。
3、根据第一方面，一种用于分级存储管理的计算设备，用于：监控对位于低层级数据存储设备和高层级数据存储设备上的多个数据块组的访问模式；根据对所述数据块组的所述访问模式的分析，将所述数据块组移动到所
4、根据第二方面，一种计算机实现的分级存储管理方法，包括：监控对位于低层级数据存储设备和高层级数据存储设备上的多个数据块组的访问模式；根据对所述数据块组的所述访问模式的分析，将所述数据块组移动到所述低层级数据存储器的顺序部分或所述低层级数据存储设备的非顺序部分或所述高层级数据存储设备；对存储在所述顺序部分中的数据块组进行碎片整理。
5、根据第三方面，一种非瞬时性介质，存储用于分级存储管理的程序指令，当所述程序指令被处理器执行时，使所述处理器：监控对位于低层级数据存储设备和高层级数据存储设备上的多个数据块组的访问模式；根据对所述数据块组的所述访问模式的分析，将所述数据块组移动到所述低层级数据存储器的顺序部分或所述低层级数据存储设备的非顺序部分或所述高层级数据存储设备；对存储在所述顺序部分中的数据块组进行碎片整理。
6、对包括低层级数据存储设备和高层级数据存储设备的数据存储系统执行的碎片整理过程的性能效率得到了提高。
7、在第一、第二和第三方面的另一种实施方式中，响应于所述访问模式指示具有大型的和/或顺序的和/或在未来时间间隔内可能被访问的io操作的活跃数据，将所述数据块组移动到所述顺序部分。
8、低层级数据存储设备的顺序部分为顺序访问操作，特别是为大量顺序存储数据提供高访问效率。
9、在第一、第二和第三方面的另一种实施方式中，所述高层级数据存储设备包括写缓存部分，并且，响应于所述访问模式指示数据块组的顺序写入，将所述数据块组移动到所述写缓存部分。
10、将低层级数据存储设备和高层级数据存储设备划分为不同的部分，提高了对存储在相应部分中的数据块组的访问效率，和/或提高了对存储在数据存储系统中的数据块组的整体访问效率。
11、顺序写入到写缓存部分的数据块组聚集在其中，使得顺序排列的数据块组能够高效传输到低层级数据存储设备。
12、在第一、第二和第三方面的另一种实施方式中，所述低层级数据存储设备包括冷部分，并且，响应于所述访问模式指示在未来时间间隔内不太可能被读取的写入数据块组，将所述数据块组移动到所述冷部分。
13、将不太可能被读取的数据与存储在顺序部分中的可能被读取的其它数据分开，提高了低层级数据存储设备的性能效率。
14、在第一、第二和第三方面的另一种实施方式中，所述高层级数据存储设备包括热部分，并且，响应于所述访问模式指示随机访问，将所述数据块组移动到所述热部分。
15、热部分提供了对随机访问数据块组的高效访问。
16、在第一、第二和第三方面的另一种实施方式中，碎片整理不对所述低层级数据存储设备的所述非顺序部分执行，也不对所述高层级数据存储设备执行。
17、对低层级数据存储设备的非顺序部分和/或高层级数据存储设备执行碎片整理在计算上并不高效，并且实际上可能增加未来访问时间。
18、在第一、第二和第三方面的另一种实施方式中，所述低层级数据存储设备实现为基于日志的文件系统。
19、对实现为基于日志的文件系统的低层级数据存储设备的顺序部分进行碎片整理，提高了对存储在低层级数据存储设备中的数据块的访问效率。
20、在第一、第二和第三方面的另一种实施方式中，所述碎片整理是在垃圾收集过程期间对存储在所述顺序部分中的顺序块执行的，其中，所述垃圾收集过程由数据块组到所述顺序部分中的新位置的新写入触发。
21、在垃圾收集期间执行碎片整理可以避免或减少对活跃访问操作的干扰。
22、在第一、第二和第三方面的另一种实施方式中，在所述垃圾收集过程期间，为所述数据块组的碎片部分留出空间，所述碎片部分在碎片整理期间被移动。
23、在垃圾收集过程期间为碎片部分留出空间提高了碎片整理过程在创建顺序排列的数据时的效率。
24、在第一、第二和第三方面的另一种实施方式中，当数据从所述顺序部分顺序读取时，执行所述碎片整理，并且响应于数据块组非顺序地位于所述顺序部分上，再次在所述顺序部分上顺序重写所述数据块组。
25、碎片整理过程可以以高效的方式选择性地应用，例如在减少处理器上的过度负载和/或减少对正在进行的访问操作的干扰和/或提高访问碎片整理后的数据的效率方面。
26、在第一、第二和第三方面的另一种实施方式中，当所述数据块组从所述高层级数据存储设备移动到所述低层级数据存储设备，并且所述数据块组的所述访问模式指示顺序访问的可能性时，执行所述碎片整理。
27、在对正在移动并可能顺序访问的数据块组执行时，可以高效执行碎片整理过程。
28、在第一、第二和第三方面的另一种实施方式中，还包括：为顺序排列的数据块组分配指示对相应块组的相对访问的分数，根据所述分数对所述数据块组进行排序，以及根据所述排序对所述数据块组顺序执行碎片整理。
29、通过按访问活跃度的降序对数据块组进行碎片整理，即最活跃的数据块组首先进行碎片整理，从而提高碎片整理效率。
30、在第一、第二和第三方面的另一种实施方式中，所述访问模式包括从由以下组成的组中选择的一个或多个访问参数：读取、顺序读取、读取大小、写入、顺序写入和写入大小。
31、在第一、第二和第三方面的另本文档来自技高网...
【技术保护点】
1.一种用于分级存储管理(208)的计算设备(204)，其特征在于，用于：
2.根据上述权利要求中任一项所述的计算设备，其特征在于，响应于所述访问模式指示具有大型的和/或顺序的和/或在未来时间间隔内可能被访问的IO操作的活跃数据，将所述数据块组移动到所述顺序部分。
3.根据上述权利要求中任一项所述的计算设备，其特征在于，所述高层级数据存储设备包括写缓存部分(212-1)，并且，响应于所述访问模式指示数据块组的顺序写入，将所述数据块组移动到所述写缓存部分。
4.根据上述权利要求中任一项所述的计算设备，其特征在于，所述低层级数据存储设备包括冷部分(210-2)，并且，响应于所述访问模式指示在未来时间间隔内不太可能被读取的写入数据块组，将所述数据块组移动到所述冷部分。
5.根据上述权利要求中任一项所述的计算设备，其特征在于，所述高层级数据存储设备包括热部分(212-2)，并且，响应于所述访问模式指示随机访问，将所述数据块组移动到所述热部分。
6.根据上述权利要求中任一项所述的计算设备，其特征在于，碎片整理不对所述低层级数据存储
7.根据上述权利要求中任一项所述的计算设备，其特征在于，所述低层级数据存储设备实现为基于日志的文件系统。
8.根据权利要求7所述的计算设备，其特征在于，所述碎片整理是在垃圾收集过程期间对存储在所述顺序部分中的顺序块执行的，其中，所述垃圾收集过程由数据块组到所述顺序部分中的新位置的新写入触发。
9.根据权利要求8所述的计算设备，其特征在于，在所述垃圾收集过程期间，为所述数据块组的碎片部分留出空间，所述碎片部分在碎片整理期间被移动。
10.根据上述权利要求中任一项所述的计算设备，其特征在于，当数据从所述顺序部分顺序读取时，执行所述碎片整理，并且响应于数据块组非顺序地位于所述顺序部分上，再次在所述顺序部分上顺序重写所述数据块组。
11.根据上述权利要求中任一项所述的计算设备，其特征在于，当所述数据块组从所述高层级数据存储设备移动到所述低层级数据存储设备，并且所述数据块组的所述访问模式指示顺序访问的可能性时，执行所述碎片整理。
12.根据上述权利要求中任一项所述的计算设备，其特征在于，还包括：为顺序排列的数据块组分配指示对相应块组的相对访问的分数，根据所述分数对所述数据块组进行排序，以及根据所述排序对所述数据块组顺序执行碎片整理。
13.根据上述权利要求中任一项所述的计算设备，其特征在于，所述访问模式包括从由以下组成的组中选择的一个或多个访问参数：读取、顺序读取、读取大小、写入、顺序写入和写入大小。
14.根据上述权利要求中任一项所述的计算设备，其特征在于，对所述数据块组的所述访问模式的分析包括所述数据块组的未来访问模式的预测。
15.根据权利要求14所述的计算设备，其特征在于，所述未来访问模式的预测作为在多个记录的训练数据集上训练的机器学习模型的结果获得，每个记录包括用历史访问模式的地面真实标签标记的相应块组。
16.根据权利要求14所述的计算设备，其特征在于，所述未来访问模式的预测包括通过预取过程(206B)进行的预取模式。
17.根据权利要求16所述的计算设备，其特征在于，所述预取过程计算在给定当前数据块组被访问的情况下多个候选后续数据块组中的每一个被访问的概率，并在所述当前数据块组被访问时预取具有最高概率的所述后续数据块组。
18.根据上述权利要求中任一项所述的计算设备，其特征在于，还包括通过每一个时间间隔将所述访问模式的当前参数乘以小于1的衰减值来动态衰减所述访问模式，以获得所述访问模式的适配参数，其中，分析所述访问模式包括分析所述访问模式的所述适配参数。
19.根据上述权利要求中任一项所述的计算设备，其特征在于，所述访问模式是针对包括多个顺序存储的数据块的每个数据块组计算的，并且所述移动针对每个数据块组执行。
20.根据上述权利要求中任一项所述的计算设备，其特征在于，所述访问模式通过向上迁移和向下迁移过程计算，所述向上迁移和向下迁移过程在所述高层级数据存储设备与所述低层级数据存储设备之间动态移动数据块组以实现动态优化。
21.根据上述权利要求中任一项所述的计算设备，其特征在于，还包括：动态定义要进行碎片整理的所述顺序部分的量。
22.一种计算机实现的分级存储管理方法，其特征在于，包括：
23.一种非瞬时性介质(206)，其特征在于，存储用于分级存储管理(206A)的程序指令，当所述...
【技术特征摘要】
【国外来华专利技术】
1.一种用于分级存储管理(208)的计算设备(204)，其特征在于，用于：
2.根据上述权利要求中任一项所述的计算设备，其特征在于，响应于所述访问模式指示具有大型的和/或顺序的和/或在未来时间间隔内可能被访问的io操作的活跃数据，将所述数据块组移动到所述顺序部分。
3.根据上述权利要求中任一项所述的计算设备，其特征在于，所述高层级数据存储设备包括写缓存部分(212-1)，并且，响应于所述访问模式指示数据块组的顺序写入，将所述数据块组移动到所述写缓存部分。
4.根据上述权利要求中任一项所述的计算设备，其特征在于，所述低层级数据存储设备包括冷部分(210-2)，并且，响应于所述访问模式指示在未来时间间隔内不太可能被读取的写入数据块组，将所述数据块组移动到所述冷部分。
5.根据上述权利要求中任一项所述的计算设备，其特征在于，所述高层级数据存储设备包括热部分(212-2)，并且，响应于所述访问模式指示随机访问，将所述数据块组移动到所述热部分。
6.根据上述权利要求中任一项所述的计算设备，其特征在于，碎片整理不对所述低层级数据存储设备的所述非顺序部分执行，也不对所述高层级数据存储设备执行。
7.根据上述权利要求中任一项所述的计算设备，其特征在于，所述低层级数据存储设备实现为基于日志的文件系统。
8.根据权利要求7所述的计算设备，其特征在于，所述碎片整理是在垃圾收集过程期间对存储在所述顺序部分中的顺序块执行的，其中，所述垃圾收集过程由数据块组到所述顺序部分中的新位置的新写入触发。
9.根据权利要求8所述的计算设备，其特征在于，在所述垃圾收集过程期间，为所述数据块组的碎片部分留出空间，所述碎片部分在碎片整理期间被移动。
10.根据上述权利要求中任一项所述的计算设备，其特征在于，当数据从所述顺序部分顺序读取时，执行所述碎片整理，并且响应于数据块组非顺序地位于所述顺序部分上，再次在所述顺序部分上顺序重写所述数据块组。
11.根据上述权利要求中任一项所述的计算设备，其特征在于，当所述数据块组从所述高层级数据存储设备移动到所述低层级数据存储设备，并且所述数据块组的所述访问模式指示顺序访问的可能性时，执行所述碎片整理。
12.根据上述权利要求中任一项所述的计算设备，其特征在于，还包...
【专利技术属性】
技术研发人员：阿萨夫·纳塔逊，兹维·施耐德，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。