【技术实现步骤摘要】
本专利技术涉及数据管理，尤其涉及一种存储系统在数据冗余不足时抢救有效数据的方法。
技术介绍
1、存储系统中的数据可靠性，是建立在数据冗余基础上的，常见存储系统通过将数据分片并计算校验数据（1个或多个，如raid、ec纠删码）冗余存放在不同节点、不同硬盘进行保存，其数据校验恢复流程如图6所示；当节点、硬盘出现故障时能够通过校验数据重构的方式进行恢复，其数据写入流程见图7。
2、冗余度满足情况时的恢复流程见图8；但是当数据冗余度不满足数据完整恢复的条件时，所有数据将会丢失，就算针对图片、视频这类不需要完整数据也可以进行浏览查阅的文件来说，也无法恢复，具体情况见图9所示。
3、因此，需要提供一种存储系统在数据冗余不足时抢救有效数据的方法来解决上述技术问题。
技术实现思路
1、为解决上述之一技术问题，本专利技术提供的一种存储系统在数据冗余不足时抢救有效数据的方法，运用于池化存储系统中，所述存储系统中设置有若干存储池，分别与各客户端建立数据连接并提供存储服务；在发生数据丢失时，通过数据校验恢复流程与数据抢救恢复流程抢救有效数据；其中，
2、数据校验恢复流程：
3、存储系统定位发生数据丢失的存储池，并开始数据读取进程；
4、读取存储池中的分片数据，并判定数据分片是否完整；
5、若是，则当前数据读取成功并向客户端返回数据；
6、若否，则读取校验数据并获取当前冗余度；
7、判断当前冗余度是否能进行数据恢
8、若是，则通过校验数据将数据丢失部分进行恢复并向客户端返回数据；
9、若否，则无法通过数据校验恢复将数据丢失部分并返回恢复失败结果；
10、数据抢救恢复流程：
11、当前冗余度无法进行数据恢复时启动；
12、获取数据所在存储池的抢救标签列表；
13、对数据的标签和头部信息进行解析，并判断抢救标签列表中是否包含该标签；
14、若是，则将当前读取到的有效数据按照分片数据进行拼接恢复并向客户端返回数据；
15、若否，则无法通过数据抢救恢复将数据丢失部分并返回恢复失败结果。
16、作为更进一步的解决方案，所述存储系统通过抢救标签设置流程对存储池进行标签设置：
17、选择允许进行数据抢救的存储池；
18、选择存储池在访问时并不需要完整信息的数据类型；
19、将数据类型对应的标签设置到存储池上，得到该存储池的抢救标签列表；
20、逐一对所有存储池进行抢救标签设置，得到所有的抢救标签列表；
21、存储系统管理抢救标签列表，抢救标签设置结束。
22、作为更进一步的解决方案，在访问时并不需要完整信息的数据类型包括：图片数据类型、视频数据类型、文档数据类型和自定义数据类型。
23、作为更进一步的解决方案，当需要进行数据抢救恢复的数据类型为图片数据类型时，图片数据在头部信息记录了图片的基本信息、后续数据为具体数据呈现，其中，图片的基本信息包括图片类型、图形x轴和y轴分辨率，若后续数据有部分缺失只会影响数据缺失部分的图像呈现；存储系统按照分片顺序呈现未缺失的后续数据，若图片数据的头部信息丢失，则无法通过数据抢救恢复数据丢失部分。
24、作为更进一步的解决方案，当需要进行数据抢救恢复的数据类型为视频数据类型时，读取视频数据中的帧内编码图像帧和前向预测编码图像帧，存储系统按照分片顺序呈现可读取到的图像帧；在播放时，正常播放可读取到的图像帧，未读取到的图像帧则进行跳过。
25、作为更进一步的解决方案，当需要进行数据抢救恢复的数据类型为文档数据类型时，读取文档数据中的字符信息，存储系统按照分片顺序呈现可读取到的字符信息，未读取到的字符信息则进行跳过。
26、作为更进一步的解决方案，当需要进行数据抢救恢复的数据类型为自定义数据类型时，获取自定义数据的恢复逻辑，并按照恢复逻辑对未丢失部分的自定义数据进行呈现。
27、作为更进一步的解决方案，所述存储系统通过抢救标签设置流程对文件系统和桶分别进行标签设置：
28、选择允许进行数据抢救的存储池、文件系统和/或桶，得到抢救范围；
29、选择存储池在访问时并不需要完整信息的数据类型；
30、将数据类型对应的标签设置到抢救范围上，得到该抢救范围的抢救标签列表；
31、逐一对所有抢救范围进行抢救标签设置，得到所有的抢救标签列表；
32、存储系统管理抢救标签列表，抢救标签设置结束。
33、与相关技术相比较，本专利技术提供的一种存储系统在数据冗余不足时抢救有效数据的方法具有如下有益效果：
34、本专利技术针对存储系统中的存储池、存储池中的文件系统（nas）、存储池中的桶（obs）可以设置需要进行抢救的数据类型，包含通过常见的文件格式、视频格式，也包含用户自行定义的标签，设置后可以选择该功能是否生效、以及生效的时间段；用户往存储系统写数据时，针对图片、视频可以不添加抢救标签，系统能够自动识别数据为图片、视频进行抢救；针对其他定制化数据则需要附带上对应的数据标签；针对图片、视频、以及用户定制化的数据类型，在存储系统数据冗余度不足时，尽可能的抢救有效数据。
本文档来自技高网...【技术保护点】
1.一种存储系统在数据冗余不足时抢救有效数据的方法，运用于池化存储系统中，其特征在于，所述存储系统中设置有若干存储池，分别与各客户端建立数据连接并提供存储服务；在发生数据丢失时，通过数据校验恢复流程与数据抢救恢复流程抢救有效数据；其中，
2.根据权利要求1所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，所述存储系统通过抢救标签设置流程对存储池进行标签设置：
3.根据权利要求2所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，在访问时并不需要完整信息的数据类型包括：图片数据类型、视频数据类型、文档数据类型和自定义数据类型。
4.根据权利要求3所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，当需要进行数据抢救恢复的数据类型为图片数据类型时，图片数据在头部信息记录了图片的基本信息、后续数据为具体数据呈现，其中，图片的基本信息包括图片类型、图形x轴和y轴分辨率，若后续数据有部分缺失只会影响数据缺失部分的图像呈现；存储系统按照分片顺序呈现未缺失的后续数据，若图片数据的头部信息丢失，则无法通过数据抢救恢复
5.根据权利要求3所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，当需要进行数据抢救恢复的数据类型为视频数据类型时，读取视频数据中的帧内编码图像帧和前向预测编码图像帧，存储系统按照分片顺序呈现可读取到的图像帧；在播放时，正常播放可读取到的图像帧，未读取到的图像帧则进行跳过。
6.根据权利要求3所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，当需要进行数据抢救恢复的数据类型为文档数据类型时，读取文档数据中的字符信息，存储系统按照分片顺序呈现可读取到的字符信息，未读取到的字符信息则进行跳过。
7.根据权利要求3所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，当需要进行数据抢救恢复的数据类型为自定义数据类型时，获取自定义数据的恢复逻辑，并按照恢复逻辑对未丢失部分的自定义数据进行呈现。
8.根据权利要求3所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，所述存储系统通过抢救标签设置流程对文件系统和桶分别进行标签设置：
...【技术特征摘要】
1.一种存储系统在数据冗余不足时抢救有效数据的方法，运用于池化存储系统中，其特征在于，所述存储系统中设置有若干存储池，分别与各客户端建立数据连接并提供存储服务；在发生数据丢失时，通过数据校验恢复流程与数据抢救恢复流程抢救有效数据；其中，
2.根据权利要求1所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，所述存储系统通过抢救标签设置流程对存储池进行标签设置：
3.根据权利要求2所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，在访问时并不需要完整信息的数据类型包括：图片数据类型、视频数据类型、文档数据类型和自定义数据类型。
4.根据权利要求3所述的一种存储系统在数据冗余不足时抢救有效数据的方法，其特征在于，当需要进行数据抢救恢复的数据类型为图片数据类型时，图片数据在头部信息记录了图片的基本信息、后续数据为具体数据呈现，其中，图片的基本信息包括图片类型、图形x轴和y轴分辨率，若后续数据有部分缺失只会影响数据缺失部分的图像呈现；存储系统按照分片顺序呈现未缺失的后续数据，若图片数据的头部信息丢失，则...
【专利技术属性】
技术研发人员：黄耀年，王皓，董博，杜小华，钟吉林，常清雪，肖春华，曹学贵，梁山虎，
申请(专利权)人：四川省华存智谷科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。