针对已分化数据恢复配置的存储器健康跟踪制造技术

技术编号:34121639 阅读:25 留言:0更新日期:2022-07-14 13:11
示例性系统和方法基于存储器健康数据提供已分化数据恢复配置。诸如基于云的存储系统的分布式存储系统使用第一数据恢复配置来存储来自远程存储设备的备份数据。基于从该远程存储设备收集的存储器健康数据,可确定该远程存储设备的存储器健康状态的变化。响应于该存储器健康状态的该变化,不同的数据恢复配置可用于在该分布式存储系统中存储正向的备份数据并且重新分配先前存储的备份数据。据并且重新分配先前存储的备份数据。

【技术实现步骤摘要】
【国外来华专利技术】针对已分化数据恢复配置的存储器健康跟踪


[0001]本公开整体涉及数据存储,并且在更具体的示例中,涉及备份数据存储中的数据恢复配置。

技术介绍

[0002]边缘存储设备(诸如计算机硬盘驱动器、外部硬盘驱动器、可移除固态存储装置(例如,闪存驱动器)等)可受益于远程备份解决方案以在边缘存储设备的劣化或损失的情况下防止数据丢失。例如,此类存储设备可被配置用于对基于云的存储系统的周期性备份。基于云的存储系统可提供用于与边缘存储设备交互,实现备份配置,以及从存储设备接收待备份的数据的存储应用程序。在一些配置中,存储应用程序可为分布式存储系统提供支持针对多个终端用户的备份或其他数据存储应用程序的接口功能。
[0003]通常,分布式存储系统用于以具有预定冗余级别的分布式且容错的方式存储大量(例如,太字节、拍字节、艾字节等)数据,诸如对象或文件。此类分布式存储系统可特别有利地作为边缘存储设备的主动备份目的地。
[0004]这些大规模存储系统可支持擦除编码的并分布在许多存储设备上的数据的存储。可将数据(诸如文件或对象)分成在大小方面具有上边界的消息或类似数据单元。然后将这些数据单元分成多个符号。然后将符号用作擦除编码的输入。例如,当使用系统擦除编码算法时,擦除编码过程的输出产生原始符号和固定数量的附加奇偶校验符号。这些符号的总和分布在存储设备的选择中。
[0005]虽然擦除编码可为恢复数据实现更大级别的冗余和增加的错误率容许,但所需的处理、存储空间和其他存储资源仍然表示存储提供商的大成本。更具体地,对校验水平和数据恢复配置的其他方面的选择可增加或减少存储和恢复所需的处理、存储空间、网络带宽和其他资源。存储提供商可能需要相对于期望的数据备份和恢复服务级别平衡分配给任何给定边缘存储设备的备份的存储资源。
[0006]可以确定边缘存储设备的备份的一般恢复配置。然而,已知单独存储设备具有不同的实际使用、错误率和劣化。一般配置可基于存储设备的平均或最坏情况性能,并且因此,与实际上由存储设备的当前状况保证的存储资源相比,将更多或更少的存储资源分配给备份。
[0007]当使用分布式存储系统来提供边缘存储设备的备份时,针对基于最坏情况场景的固定标准为存储设备群体分配存储资源可能会导致浪费的存储资源和/或不必要的数据丢失风险。需要根据特定存储设备的当前时间点的对于数据的实际风险来进行的自适应不同备份。例如,可能需要从单独存储设备接收存储器健康数据并且使用该存储器健康数据以通过已分化数据恢复配置来分配存储资源的存储系统。

技术实现思路

[0008]描述了用于将来自存储设备的冗余备份数据存储到分布式存储系统的各个方面,
特别是使用存储器健康跟踪来分化单独存储设备的数据恢复配置。
[0009]一个一般方面包括一种计算机实现的方法。该计算机实现的方法包括:使用第一数据恢复配置将来自远程存储设备的冗余数据集存储在分布式存储系统中;接收与该远程存储设备相关联的存储器健康数据,其中该存储器健康数据对应于该远程存储设备的非暂时性介质的存储器健康状态;基于该存储器健康数据来确定该远程存储设备的该非暂时性介质的该存储器健康状态的变化;以及响应于该存储器健康状态的该变化,使用第二数据恢复配置来重新分配该分布式存储系统中的该冗余数据集。
[0010]实施方式可包括下列特征中的一者或多者。该远程存储设备可以是位于远离该分布式存储系统的站点处的非易失性存储器设备,并且重新分配该分布式存储系统中的该冗余数据集可包括周期性地备份存储在该远程存储设备上的当前数据集与在较早时间存储在该远程存储设备上的数据的全面副本之间的差异。该计算机实现的方法还可包括:确定该远程存储设备的周期性备份配置;确定该远程存储设备的至少一个初始存储器健康值;以及基于该至少一个初始存储器健康值和该周期性备份配置来确定该第一数据恢复配置。该计算机实现的方法还可包括:确定该分布式存储系统的至少一个系统资源的服务级别;基于该服务级别来确定用于将该冗余数据集存储在该分布式存储系统中的该至少一个系统资源的分配,其中确定该第一数据恢复配置进一步基于该至少一个系统资源的该分配;以及基于该至少一个系统资源的该分配和该存储器健康的变化来确定该第二数据恢复配置。使用该第一数据恢复配置将该冗余数据集存储在该分布式存储系统中可包括根据第一奇偶校验水平将该冗余数据集编码在第一多个编码数据符号中。使用该第二数据恢复配置重新分配该分布式存储系统中的该冗余数据集可包括根据第二奇偶校验水平将该冗余数据集的至少一部分编码在第二多个编码数据符号中。与该第一奇偶校验水平相比,该第二奇偶校验水平可适应用于恢复该冗余数据集的该部分的不同错误率。该存储器健康数据可包括选自以下的至少一个存储器健康值:位错误率值;写入/擦除循环值;程序循环计数器值;擦除循环计数器值;泄漏检测测量值;不稳定程序干扰值;坏块值;或电压裕度值。该计算机实现的方法还包括根据周期性备份时间表从该远程存储设备接收该冗余数据集,其中结合根据该周期性备份时间表接收该冗余数据集执行从该远程存储设备接收存储器健康数据。该计算机实现的方法还可包括:确定该远程存储设备中的多个物理存储单元;以及存储将该分布式存储系统中存储的该冗余数据集与该远程存储设备中的存储对应数据的该多个物理存储单元相关联的参考值。从该远程存储设备接收存储器健康数据可包括接收该多个物理存储单元中的每个物理存储单元的至少一个存储器健康值。确定该存储器健康状态的该变化可包括:确定该多个物理存储单元中的第一物理存储单元的至少一个存储器健康值满足减少的可靠性状况;以及确定该多个物理存储单元中的第二物理存储单元的至少一个存储器健康值不满足该减少的可靠性状况。使用该第二数据恢复配置来重新分配该分布式存储系统中的该冗余数据集可包括响应于确定该减少的可靠性状况,使用该第二数据恢复配置来存储与该第一物理存储单元相关联的数据。与该第二物理存储单元相关联的数据可保持使用该第一数据恢复配置来存储。确定该存储器健康状态的该变化可包括:确定至少一个减少的可靠性阈值;以及针对该至少一个减少的可靠性阈值评估该存储器健康数据。该计算机实现的方法还可包括:收集与该远程存储设备相关联的远程存储设备类型的远程存储设备群体的历史存储器健康数据;基于所收集的历史存储器健康数据来确定该远
程存储设备类型的数据可靠性模型;以及基于该数据可靠性模型来确定至少一个减少的可靠性阈值,其中确定该存储器健康的该变化包括针对该至少一个减少的可靠性阈值评估该存储器健康数据。
[0011]另一个一般方面包括一种系统。该系统包括:存储系统,该存储系统被配置为使用第一数据恢复配置来存储来自远程存储设备的冗余数据集;存储器健康监测器,该存储器健康监测器被配置为接收与该远程存储设备相关联的存储器健康数据,其中该存储器健康数据对应于该远程存储设备的非暂时性介质的存储器健康状态;可靠性管理器,该可靠性管理器被配置为:基于该存储器健康数据来确定该远程存储设备的存储器健康状态的变化;以及响应于该存储器健康状态的该变化而发起第二数据恢复配置,其中该存本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种计算机实现的方法,包括:使用第一数据恢复配置将来自远程存储设备的冗余数据集存储在分布式存储系统中;接收与所述远程存储设备相关联的存储器健康数据,其中所述存储器健康数据对应于所述远程存储设备的非暂时性介质的存储器健康状态;基于所述存储器健康数据来确定所述远程存储设备的所述非暂时性介质的所述存储器健康状态的变化;以及响应于所述存储器健康状态的所述变化,使用第二数据恢复配置来重新分配所述分布式存储系统中的所述冗余数据集。2.根据权利要求1所述的计算机实现的方法,其中:所述远程存储设备是位于远离所述分布式存储系统的站点处的非易失性存储器设备;并且重新分配所述分布式存储系统中的所述冗余数据集包括周期性地备份存储在所述远程存储设备上的当前数据集与在较早时间存储在所述远程存储设备上的数据的全面副本之间的差异。3.根据权利要求1所述的计算机实现的方法,还包括:确定所述远程存储设备的周期性备份配置;确定所述远程存储设备的至少一个初始存储器健康值;以及基于所述至少一个初始存储器健康值和所述周期性备份配置来确定所述第一数据恢复配置。4.根据权利要求3所述的计算机实现的方法,还包括:确定所述分布式存储系统的至少一个系统资源的服务级别;基于所述服务级别来确定用于将所述冗余数据集存储在所述分布式存储系统中的所述至少一个系统资源的分配,其中确定所述第一数据恢复配置进一步基于所述至少一个系统资源的所述分配;以及基于所述至少一个系统资源的所述分配和所述存储器健康的变化来确定所述第二数据恢复配置。5.根据权利要求1所述的计算机实现的方法,其中:使用所述第一数据恢复配置将所述冗余数据集存储在所述分布式存储系统中包括根据第一奇偶校验水平将所述冗余数据集编码在第一多个编码数据符号中;使用所述第二数据恢复配置重新分配所述分布式存储系统中的所述冗余数据集包括根据第二奇偶校验水平将所述冗余数据集的至少一部分编码在第二多个编码数据符号中;并且与所述第一奇偶校验水平相比,所述第二奇偶校验水平适应用于恢复所述冗余数据集的所述部分的不同错误率。6.根据权利要求1所述的计算机实现的方法,其中所述存储器健康数据包括选自以下的至少一个存储器健康值:位错误率值;写入/擦除循环值;程序循环计数器值;
擦除循环计数器值;泄漏检测测量值;不稳定程序干扰值;坏块值;或者电压裕度值。7.根据权利要求1所述的计算机实现的方法,还包括:根据周期性备份时间表从所述远程存储设备接收所述冗余数据集,其中结合根据所述周期性备份时间表接收所述冗余数据集执行从所述远程存储设备接收存储器健康数据。8.根据权利要求1所述的计算机实现的方法:还包括:确定所述远程存储设备中的多个物理存储单元;以及存储将所述分布式存储系统中存储的所述冗余数据集与所述远程存储设备中的存储对应数据的所述多个物理存储单元相关联的参考值;其中:从所述远程存储设备接收存储器健康数据包括接收所述多个物理存储单元中的每个物理存储单元的至少一个存储器健康值;确定所述存储器健康状态的所述变化包括:确定所述多个物理存储单元中的第一物理存储单元的至少一个存储器健康值满足减少的可靠性状况;以及确定所述多个物理存储单元中的第二物理存储单元的至少一个存储器健康值不满足所述减少的可靠性状况;使用所述第二数据恢复配置来重新分配所述分布式存储系统中的所述冗余数据集包括响应于确定所述减少的可靠性状况,使用所述第二数据恢复配置来存储与所述第一物理存储单元相关联的数据;以及与所述第二物理存储单元相关联的数据保持使用所述第一数据恢复配置来存储。9.根据权利要求1所述的计算机实现的方法,其中确定所述存储器健康状态的所述变化包括:确定至少一个减少的可靠性阈值;以及针对所述至少一个减少的可靠性阈值评估所述存储器健康数据。10.根据权利要求1所述的计算机实现的方法,还包括:收集与所述远程存储设备相关联的远程存储设备类型的远程存储设备群体的历史存储器健康数据;基于所收集的历史存储器健康数据来确定所述远程存储设备类型的数据可靠性模型;以及基于所述数据可靠性模型来确定至少一个减少的可靠性阈值,其中确定所述存储器健康的所述变化包括针对所述至少一个减少的可靠性阈值评估所述存储器健康数据。11.一种系统,包括:存储系统,所述存储系统被配置为使用第一数据恢复配置来存储来自远程存储设备的冗余数据集;
存储器健康监测...

【专利技术属性】
技术研发人员:A
申请(专利权)人:西部数据技术公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1