本发明专利技术实施例提出延迟数据重构方法、装置、存储节点和存储介质，根据故障硬盘获取待恢复数据对象和关联硬盘。其中，生命周期到期的数据对象跳过数据重构，当生命周期内待恢复数据对象的数据可靠性低于可靠性阈值时，将其确定为重构对象，并针对全部重构对象按照优先级从高到低的顺序进行数据重构；优先级与生命周期正相关，与数据可靠性概率负相关。可见，本方案通过筛选生命周期内数据可靠性低的待恢复数据对象进行数据重构，数据重构过程中，数据可靠性低的数据对象优先重构，临近生命周期尾期的数据对象以较低优先级进行重构，从而大幅度减少重构数据量和重构次数，提升重构效率，有效降低重构对系统性能的影响。有效降低重构对系统性能的影响。有效降低重构对系统性能的影响。
【技术实现步骤摘要】
延迟数据重构方法、装置、存储节点和存储介质
[0001]本专利技术涉及分布式存储系统领域，具体而言，涉及一种延迟数据重构方法、装置、存储节点和存储介质。
技术介绍
[0002]在分布式存储系统中，存储设备通常由多台服务器组成，服务器一般称为分布式存储节点，简称节点。各节点通过硬盘插槽来放置硬盘，提供存储空间。业界通常采用自我监测、分析及报告技术（Self
‑
MonitoringAnalysis and Reporting Technology，简称：SMART）对硬盘相关健康状态进行监测和预警，提前识别故障，便于及时处理。常见的硬盘类型包括机械硬盘、固态硬盘（Solid State Disk，简称：SSD），多个节点之间通过分布式存储软件进行统一管理，形成逻辑上统一的存储资源池，供用户读写文件或对象（简称数据对象）。分布式存储系统主要依赖数据冗余方式提供数据的安全性和可靠性，目前常见的数据冗余方式有副本和纠删码。硬盘故障恢复时，通过读写剩余节点的数据，通过对应的冗余方式将数据恢复并写到新硬盘中。
[0003]现有技术中，为避免数据丢失，故障硬盘被更换为新硬盘后则立即进行数据重构。在数据重构过程中，保存在故障硬盘上的全部数据都进行恢复重构，即使数据的生命周期已经到期或临近到期也会被恢复重构，这样会造成重构数据量增加，影响系统性能。在多块硬盘先后发生故障时，数据重构将重复进行多次。这样会持续占用系统CPU、内存等系统资源，且增加硬盘的读写压力，进一步降低系统性能，进而影响用户正常业务。
技术实现思路
[0004]有鉴于此，本专利技术的目的在于提供一种延迟数据重构方法、装置、存储节点和存储介质，能够通过筛选生命周期内数据可靠性低的待恢复数据对象进行数据重构，数据重构过程中，数据可靠性低的数据对象优先重构，临近生命周期尾期的数据对象以较低优先级进行重构，从而大幅度减少重构数据量和重构次数，提升重构效率，有效降低重构对系统性能的影响。
[0005]为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术提供一种延迟数据重构方法，应用于存储节点，所述方法包括：获取待恢复数据对象、关联硬盘列表、所述待恢复数据对象的生命周期和关联硬盘的可靠因子；所述待恢复数据对象为数据位于故障硬盘上的数据对象；所述关联硬盘列表用来记录全部待恢复数据对象所对应条带中未发生故障的硬盘信息；所述可靠因子用来表征所述关联硬盘的可靠性，根据关联硬盘列表中的关联硬盘的自我监测、分析及报告技术SMART信息评估所得；分别获取目标数据对象的目标关联硬盘和所述目标关联硬盘的平均无故障工作时间MTBF数据；所述目标关联硬盘为关联硬盘列表中的至少一个；所述目标数据对象为生命周期内的所述待恢复数据对象；
分别根据所述生命周期、所述MTBF数据和所述目标关联硬盘的可靠因子，计算得到所述目标数据对象的数据可靠性概率；当所述数据可靠性概率低于可靠性阈值时，将所述目标数据对象确定为重构对象；针对全部所述重构对象按照优先级从高到低的顺序进行数据重构；所述优先级与所述生命周期正相关，与所述数据可靠性概率负相关。
[0006]在可选的实施方式中，所述获取待恢复数据对象和关联硬盘列表的步骤，包括：接收数据重构指令；所述数据重构指令中包括故障硬盘信息；遍历硬盘数据分布元数据，获取与故障硬盘相关的所述待恢复数据对象和所述关联硬盘列表。
[0007]在可选的实施方式中，所述方法还包括：当所述待恢复数据对象的生命周期到期或过期时，跳过针对所述待恢复数据对象的数据重构。
[0008]在可选的实施方式中，所述分别根据所述生命周期、所述MTBF数据和所述目标关联硬盘的可靠因子，计算得到所述目标数据对象的数据可靠性概率的步骤，包括：根据所述生命周期和所述MTBF数据，计算得到所述目标关联硬盘的故障概率；根据所述故障概率和所述目标关联硬盘的可靠因子，得到所述数据可靠性概率。
[0009]在可选的实施方式中，所述针对全部所述重构对象按照优先级从高到低的顺序进行数据重构的步骤，包括：根据数据可靠性概率的数值范围，划分至少一个优先级；每个所述优先级对应一个重构队列；按照优先级，将全部所述重构对象加入对应的所述重构队列；按照优先级从高到低的顺序，依次从对应的所述重构队列中取出所述重构对象，进行数据重构。
[0010]在可选的实施方式中，所述按照优先级，将全部所述重构对象加入对应的所述重构队列的步骤之后，还包括：当所述重构对象满足移除条件时，将所述重构对象从重构队列中移除；所述移除条件表征所述重构对象被删除或迁移。
[0011]在可选的实施方式中，所述待恢复数据对象的数据可靠性概率的公式为：在可选的实施方式中，所述待恢复数据对象的数据可靠性概率的公式为：其中，y为所述待恢复数据对象在生命周期内发生数据丢失的概率；x为所述待恢复数据对象的数据可靠性概率；N为所述待恢复数据对象的数据块数量；M为所述待恢复数据对象的校验块数量或数据块对应的副本数量；b为所述待恢复数据对象的生命周期；a为所述目标关联硬盘的MTBF数据；d为所述目标关联硬盘的可靠因子。
[0012]第二方面，本专利技术提供一种延迟数据重构装置，应用于存储节点，所述装置包括：
获取模块，用于获取待恢复数据对象、关联硬盘列表、所述待恢复数据对象的生命周期和关联硬盘的可靠因子；所述待恢复数据对象为数据位于故障硬盘上的数据对象；所述关联硬盘列表用来记录全部待恢复数据对象所对应条带中未发生故障的硬盘信息；所述可靠因子用来表征所述关联硬盘的可靠性，根据关联硬盘列表中的关联硬盘的自我监测、分析及报告技术SMART信息评估所得；分别获取目标数据对象的目标关联硬盘和所述目标关联硬盘的平均无故障工作时间MTBF数据；所述目标关联硬盘为关联硬盘列表中的至少一个；所述目标数据对象为生命周期内的所述待恢复数据对象；决策模块，用于分别根据所述生命周期、所述MTBF数据和所述目标关联硬盘的可靠因子，计算得到所述目标数据对象的数据可靠性概率；当所述数据可靠性概率低于可靠性阈值时，将所述目标数据对象确定为重构对象；重构模块，用于针对全部所述重构对象按照优先级从高到低的顺序进行数据重构；所述优先级与所述生命周期正相关，与所述数据可靠性概率负相关。
[0013]第三方面，本专利技术提供一种存储节点，所述存储节点包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于在调用所述计算机程序时执行如前述实施方式任一项所述的延迟数据重构方法。
[0014]第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式任一项所述的延迟数据重构方法。
[0015]相比现有技术，本专利技术实施例提供的延迟数据重构方法、装置、存储节点和存储介质，获取待恢复数据对象、关联硬盘列表、待恢复数据对象的生命周期和关联硬盘的可靠因子；待恢复数据对象为数据位于故障硬盘上的数据对象；关联硬盘列表用来记录全部待恢复数据对象所对应条带中未发生故障的硬盘信息；可靠因子用来本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种延迟数据重构方法，其特征在于，应用于存储节点，所述方法包括：获取待恢复数据对象、关联硬盘列表、所述待恢复数据对象的生命周期和关联硬盘的可靠因子；所述待恢复数据对象为数据位于故障硬盘上的数据对象；所述关联硬盘列表用来记录全部待恢复数据对象所对应条带中未发生故障的硬盘信息；所述可靠因子用来表征所述关联硬盘的可靠性，根据关联硬盘列表中的关联硬盘的自我监测、分析及报告技术SMART信息评估所得；分别获取目标数据对象的目标关联硬盘和所述目标关联硬盘的平均无故障工作时间MTBF数据；所述目标关联硬盘为关联硬盘列表中的至少一个；所述目标数据对象为生命周期内的所述待恢复数据对象；分别根据所述生命周期、所述MTBF数据和所述目标关联硬盘的可靠因子，计算得到所述目标数据对象的数据可靠性概率；当所述数据可靠性概率低于可靠性阈值时，将所述目标数据对象确定为重构对象；针对全部所述重构对象按照优先级从高到低的顺序进行数据重构；所述优先级与所述生命周期正相关，与所述数据可靠性概率负相关。2.根据权利要求1所述的延迟数据重构方法，其特征在于，所述获取待恢复数据对象、关联硬盘列表的步骤，包括：接收数据重构指令；所述数据重构指令中包括故障硬盘信息；遍历硬盘数据分布元数据，获取与故障硬盘相关的所述待恢复数据对象和所述关联硬盘列表。3.根据权利要求1所述的延迟数据重构方法，其特征在于，所述方法还包括：当所述待恢复数据对象的生命周期到期或过期时，跳过针对所述待恢复数据对象的数据重构。4.根据权利要求1所述的延迟数据重构方法，其特征在于，所述分别根据所述生命周期、所述MTBF数据和所述目标关联硬盘的可靠因子，计算得到所述目标数据对象的数据可靠性概率的步骤，包括：根据所述生命周期和所述MTBF数据，计算得到所述目标关联硬盘的故障概率；根据所述故障概率和所述目标关联硬盘的可靠因子，得到所述数据可靠性概率。5.根据权利要求1所述的延迟数据重构方法，其特征在于，所述针对全部所述重构对象按照优先级从高到低的顺序进行数据重构的步骤，包括：根据数据可靠性概率的数值范围，划分至少一个优先级；每个所述优先级对应一个重构队列；按照优先级，将全部所述重构对象加入对应的所述重构队列；按照优先级从高到低的顺序，依次从对应的所述重构队列中取出所述重构对象，进行数据重构。6.根据权利要...
【专利技术属性】
技术研发人员：经宁，樊官跃，齐泽青，
申请(专利权)人：深圳市泛联信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。