【技术实现步骤摘要】
自适应的数据恢复流控方法、装置、电子设备及存储介质
本专利技术涉及计算机
，具体涉及一种自适应的数据恢复流控方法、装置、电子设备及存储介质。
技术介绍
随着大数据和云计算时代的到来，各个领域的数据量呈现出快速增长的趋势。这些不断增长的海量数据需要依赖大规模的分布式存储系统，实现可靠的存储和高效的访问。然而，存储系统的规模越大，发生故障的概率也就越高。为了应对随时可能出现的故障，以保证数据存储的可靠性，分布式存储系统需要进行数据冗余。一种常见的数据冗余策略是将数据的多个副本存储到不同的物理节点上，当部分副本损坏时，可以根据完好的副本对损坏副本进行修复。另外，在对分布式存储系统进行扩容时，需要进行一定规模的副本迁移，以此保证数据分布的均衡性，而这种数据迁移也被认为是一种特殊的数据修复。一方面需要提高数据修复效率以降低数据丢失风险，但另一方面，存储系统需要确保用户应用的高效访问，避免数据修复对正常业务的服务质量造成冲击，如何较好的权衡数据修复与正常的数据输入输出业务之间的任务分配，在提高数据修复效率的同时，避免对正常的数据输入输出业务性能造成明显冲击，使业务系统能...
【技术保护点】
1.一种自适应的数据恢复流控方法，其特征在于，所述方法包括：a)定期同步分布式存储系统中的各个存储节点的信息；b)侦测是否有存储节点发生了故障；c)当侦测到有存储节点发生了故障时，获取发生故障的存储节点的存储列表；d)识别上一个统计周期内用户应用的IO负载类别；e)根据所述上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值；f)根据所述存储列表及所述当前统计周期对应的流控阈值，对发生故障的存储节点的当前统计周期内的数据执行恢复操作；重复执行上述步骤d)‑f)，直至对所述发生故障的存储节点的所有统计周期内的数据执行了恢复操作。
【技术特征摘要】
1.一种自适应的数据恢复流控方法，其特征在于，所述方法包括：a)定期同步分布式存储系统中的各个存储节点的信息；b)侦测是否有存储节点发生了故障；c)当侦测到有存储节点发生了故障时，获取发生故障的存储节点的存储列表；d)识别上一个统计周期内用户应用的IO负载类别；e)根据所述上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值；f)根据所述存储列表及所述当前统计周期对应的流控阈值，对发生故障的存储节点的当前统计周期内的数据执行恢复操作；重复执行上述步骤d)-f)，直至对所述发生故障的存储节点的所有统计周期内的数据执行了恢复操作。2.如权利要求1所述的方法，其特征在于，所述根据所述上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值包括：采用预先设置的流控阈值作为第一个统计周期对应的流控阈值。3.如权利要求1所述的方法，其特征在于，所述识别上一个统计周期内用户应用的IO负载类别包括：获取所述上一个统计周期内用户应用的每一个IO的数据块大小，计算所述上一个统计周期内的IO的平均数据块大小；获取所述上一个统计周期内的每个数据块的传输时延，计算所述上一个统计周期内的IO的平均数据块时延；获取预先设置的IO的数据块大小的基准值及对应的数据块时延的基准值；根据所述上一个统计周期内的所述IO的平均数据块大小、所述平均数据块时延、所述数据块大小的基准值、所述对应的数据块时延的基准值，计算所述上一个统计周期内的IO负载强度；根据所述上一个统计周期内的IO负载强度，利用预先训练好的负载分类模型确定所述上一个统计周期内的IO负载类别。4.如权利要求1所述的方法，其特征在于，所述IO负载类别包括：高负载类别、正常负载类别、低负载类别，所述根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值包括：当所述上一个统计周期内的IO负载类别为高负载类别时，将所述上一个统计周期对应的流控阈值降低第一预设幅度，得到当前统计周期对应的流控阈值；当所述上一个统计周期内的IO负载类别为低负载类别时，将所述上一个统计周期对应的流控阈值提高第二预设幅度，得到下一个统计周期对应的流控阈值；当所述上一个统计周期内的...
【专利技术属性】
技术研发人员：陈学伟，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。