一种基于图算法的文件感知恢复方法及装置制造方法及图纸

本申请公开了一种基于图算法的文件感知恢复方法及装置，该方法包括：获取分布式文件系统中的元数据信息，根据所述元数据信息生成对应的网络流图，采用预设的图算法对所述网络流图进行文件感知恢复分析，得到每一轮次所需恢复的目标文件信息，根据所述目标文件信息进行对应的文件恢复从而恢复得到对应的目标文件。通过实施本申请，能解决现有技术中存在的文件恢复效率较低、无法基于文件级的整体文件恢复等问题。恢复等问题。恢复等问题。

【技术实现步骤摘要】
一种基于图算法的文件感知恢复方法及装置


[0001]本申请涉及云存储
，特别是涉及一种基于图算法的文件感知恢复方法及装置。

技术介绍

[0002]在大规模云存储系统中，数据的可靠性至关重要。为了保障数据的可靠性和可用性，纠删码技术应运而生。相比于传统的副本技术，纠删码技术可以用更低的存储成本来保证相同的数据可靠性，也因此在分布式云存储系统中得到广泛、大规模的应用。但当系统发生硬件故障导致数据丢失需要恢复时，纠删码的恢复开销相比于传统的副本技术更大。以RS(k，r)编码为例，恢复一个数据块需要传输k个数据块，如果按照RS编码恢复文件，其恢复时间为副本技术的k倍。其中，RS是指纠删码Reed
‑
Solomon。
[0003]为了降低纠删码的恢复延迟，前人提出一系列方案，其中包括从上层应用中获取数据访问特征从而优先恢复热点数据的方法，又包括从底层设备角度进行流水线加速恢复的方法。但优先恢复热点数据的方法可能由于底层设备的调度而受到影响，同时也没考虑全局的纠删码数据、校验及节点间的映射关系，这就导致其文件恢复的效率明显较本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图算法的文件感知恢复方法，其特征在于，包括：获取分布式文件系统中的元数据信息，所述元数据信息包括损坏节点上的待恢复文件与条带间的映射、条带与数据块间的映射、数据块与网络节点间的映射、所述待恢复文件的访问频率以及纠删码的编码参数；根据所述元数据信息生成对应的网络流图；采用预设的图算法对所述网络流图进行文件感知恢复分析，得到每一轮次所需恢复的目标文件信息，所述目标文件信息包括当前轮次所需恢复的目标文件、所述目标文件中丢失的目标条带或目标数据块，以及所述目标条带或目标数据块所在的网络节点；根据所述目标文件信息进行对应的文件恢复，从而恢复得到所述目标文件；所述目标文件为所述待恢复文件中的至少一个。2.根据权利要求1所述的基于图算法的文件感知恢复方法，其特征在于，所述根据所述元数据信息生成对应的网络流图包括：将所述待恢复文件、所述待恢复文件对应的条带、所述条带对应的数据块及所述条带对应的网络节点作为网络流图中的节点，依次连接所述节点，并增加源节点和汇节点，从而形成所述网络流图；在考虑所述待恢复文件的访问频率和网络节点间的负载均衡情况下，根据所述待恢复文件的访问频率和纠删码的编码参数对应设置所述网络流图中每条边的权值和容量。3.根据权利要求1所述的基于图算法的文件感知恢复方法，其特征在于，所述采用预设的图算法对所述网络流图进行文件感知恢复分析，得到每一轮次所需恢复的目标文件信息包括：采用最大费用最大流算法对所述网络流图中的每条边进行文件感知恢复分析，得出每一轮次性价比最高的所需恢复的目标文件信息。4.根据权利要求3所述的基于图算法的文件感知恢复方法，其特征在于，所述方法还包括：将所述网络流图中与所述目标文件信息相关的节点剔除，并同步更新所述网络流图中每条边的容量和权值，从而得到更新后的所述网络流图。5.根据权利要求1所述的基于图算法的文件感知恢复方法，其特征在于，所述根据所述目标文件信息进行对应的文件恢复，从而恢复得到所述目标文件包括：根据用户选择的恢复方式及当前可用带宽，对所述目标文件信息进行对应的数据传输和恢复计算，...

【专利技术属性】
技术研发人员：吴晨涛，李颉，过敏意，薛广涛，张弛，曾鹤鸣，杨亘，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：