一种数据存储、重构、清理方法、装置及数据处理系统制造方法及图纸

本发明专利技术实施例公开了一种数据存储、重构、清理方法、装置及数据处理系统，存储方法包括：针对一条数据流中的每个当前数据帧，根据当前数据帧的帧类型，确定其对应的纠删码策略，利用所确定的纠删码策略对其进行处理；也就是说，在一条数据流中，不同帧类型的数据帧对应的纠删码策略可以不同，提高了基于数据流保护的纠删码策略的灵活性。

A data storage, reconstruction, cleaning method, device and data processing system

The embodiment of the invention discloses a data storage, reconstruction, cleaning method, device and data processing system. The storage method includes: for each current data frame in a data stream, according to the frame type of the current data frame, determining its corresponding erasure code strategy, and processing it with the determined erasure code strategy. In other words, in a data stream, the corresponding erasure codes for different frame types can be different, which improves the flexibility of erasure codes based on data stream protection.

【技术实现步骤摘要】
一种数据存储、重构、清理方法、装置及数据处理系统
本专利技术涉及数据处理
，特别涉及一种数据存储、重构、清理方法、装置及数据处理系统。
技术介绍
纠删码(erasurecoding，EC)是一种数据保护方法，纠删码策略可以用n＝k+m来表示，其中，k表示原始片段份数，m表示冗余片段份数，n表示总的数据片段份数。具体的，可以将待存储数据分割成k个原始片段，基于这k个原始片段进行扩展、编码，得到m个冗余片段；将这k个原始片段和m个冗余片段分别存储至各个存储对象中；这样，如果某个存储对象出现故障导致数据丢失，则可以根据未丢失的原始片段及冗余片段对丢失的数据片段进行恢复。目前，通常将多媒体数据(比如，视频数据，音频数据等)以数据流的形式(流式数据)进行传输、存储，数据流中包含多个数据帧。现有方案利用纠删码对数据流进行保护时，针对同一条数据流，通常利用统一的纠删码策略对其进行存储。也就是说，一条数据流中的每个数据帧对应的k和m只能是相同的，纠删码策略不灵活。
技术实现思路
本专利技术实施例的目的在于提供一种数据存储、重构、清理方法、装置及数据处理系统，以提高基于数据流保护的纠删码策略的灵活性本文档来自技高网...

【技术保护点】
1.一种数据存储方法，其特征在于，包括：根据当前数据帧的帧类型，确定所述当前数据帧对应的纠删码策略；根据所确定的纠删码策略，为所述当前数据帧分配存储对象；利用所确定的纠删码策略，对所述当前数据帧进行切片及冗余处理，得到原始片段及冗余片段；将所述原始片段及冗余片段分别存储至所述存储对象中；记录所述当前数据帧对应的索引信息，所述索引信息包括：存储每个原始片段及冗余片段的存储对象的信息。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：根据当前数据帧的帧类型，确定所述当前数据帧对应的纠删码策略；根据所确定的纠删码策略，为所述当前数据帧分配存储对象；利用所确定的纠删码策略，对所述当前数据帧进行切片及冗余处理，得到原始片段及冗余片段；将所述原始片段及冗余片段分别存储至所述存储对象中；记录所述当前数据帧对应的索引信息，所述索引信息包括：存储每个原始片段及冗余片段的存储对象的信息。2.根据权利要求1所述的方法，其特征在于，所述根据当前数据帧的帧类型，确定所述当前数据帧对应的纠删码策略的步骤包括：判断当前数据帧的帧类型是否为关键帧；如果是，确定所述当前数据帧对应的纠删码策略为第一类策略；如果否，确定所述当前数据帧对应的纠删码策略为第二类策略；其中，所述第二类策略的安全级别低于所述第一类策略。3.根据权利要求1所述的方法，其特征在于，所述根据所确定的纠删码策略，为所述当前数据帧分配存储对象的步骤包括：确定所述纠删码策略中包含的原始片段份数k及冗余片段份数m；根据k+m，为所述当前数据帧分配存储对象；所述利用所确定的纠删码策略，对所述当前数据帧进行切片及冗余处理，得到原始片段及冗余片段的步骤包括：将所述当前数据帧切分成k个原始片段；将所述k个原始片段进行冗余处理，得到m个冗余片段；所述将所述原始片段及冗余片段分别存储至所述存储对象中的步骤包括：将所述k个原始片段及所述m个冗余片段分别存储到所分配的存储对象中。4.根据权利要求3所述的方法，其特征在于，所述根据k+m，为所述当前数据帧分配存储对象的步骤包括：判断可用存储节点的数量是否不小于k+m；如果不小于，将k+m个可用存储节点确定为所述当前数据帧对应的存储对象；如果小于，判断可用存储节点中的可用磁盘的数量是否不小于k+m；如果是，将k+m个可用磁盘确定为所述当前数据帧对应的存储对象；如果否，将全部可用磁盘确定为所述当前数据帧对应的存储对象。5.一种数据重构方法，其特征在于，包括：在所记录的数据帧对应的索引信息中，确定待重构索引信息；其中，索引信息包括：存储每个原始片段及冗余片段的存储对象的信息，所述待重构索引信息中包含出现故障的存储对象的信息；根据所对应的纠删码策略，确定各条待重构索引信息对应的优先级；其中，纠删码策略根据数据帧的帧类型确定；根据所确定的优先级，依次对各条待重构索引信息进行重构处理：根据待重构索引信息中包含的未出现故障的存储对象的信息，从所述未出现故障的存储对象中读取目标数据片段，所述目标数据片段为：所述待重构索引信息对应的数据帧的每个原始片段及冗余片段；将所述目标数据片段进行重构，得到修复片段；将所述修复片段存储至为其分配的存储对象中；更新所述待重构索引信息。6.一种数据清理方法，其特征在于，包括：确定待清理数据流及其包含的每个数据帧对应的纠删码策略；其中，纠删码策略根据数据帧的帧类型确定；确定所述待清理数据流中的待删除数据帧；所述待删除数据帧为：所对应纠删码策略为预设的目标纠删码策略的数据帧；将所确定的每个待删除数据帧删除。7.根据权利要求6所述的方法，其特征在于，确定待清理数据流包含的每个数据帧对应的纠删码策略的步骤包括：在所记录的数据帧对应的索引信息中，读取所述待清理数据流包含的每个数据帧对应的索引信息；根据所读取的索引信息中的原始片段份数k及冗余片段份数m，确定待清理数据流包含的每个数据帧对应的纠删码策略。8.根据权利要求6所述的方法，其特征在于，在所述将所确定的每个待删除数据帧删除的步骤之后，还包括：将所确定的每个待删除数据帧对应的索引信息删除。9.一种数据存储装置，其特征在于，包括：第一确定模块，用于根据当前数据帧的帧类型，确定所述当前数据帧对应的纠删码策略；分配模块，用于根据所确定的纠删码策略，为所述当前数据帧分配存储对象；切片模块，用于利用所确定的纠删码策略，对所述当前数据帧进行切片及冗余处理，得到原始片段及冗余片段；存储模块，用于将所述原始片段及冗余片段分别存储至所述存储对象中；记录模块，用于记录所述当前数据帧对应的索引信息，所述索引信息包括：存储每个原始片段及冗余片段的存储对象的信息。10.根据权利要求9所述的装置，其特征在于，所述第一确定模块，具体用于：判断当前数据帧的帧类型是否为关键帧；如果是，确定所述当前数据帧对应的纠删码策略为第一类策略；如果否，确定所述当前数据帧对应的纠删码策略为第二类策略；其中，所述第二类策略的安全级别低于所述第一类策略。11.根据权利要求9所述的装置，其特征在于，所述分配模块，包括：确定子模块，用于确定所述纠删码策略中包含的原始片段份数k及冗余片段份数m；分配子模块，用于根据k+m，为所述当前数据帧分配存储对象；所述切片模块，包括：切分子模块，用于将所述当前数据帧切分成k个原始片段；冗余子模块，用于将所述k个原始片段进行冗余处理，得到m个冗余片段；所述存储模块，具体用于：将所述k个原始片段及所述m个冗余片段分别存储到所分配的存储对象中。12.根据权利要求11所述的装置，其特征在于，所述分配子模块，具体用于：判断可用存储节点的数量是否不小于k+m；如果不小于，将k+m个可用存储节点确定为所述当前数据帧对应的存储对象；如果小于，判...

【专利技术属性】
技术研发人员：叶敏，林鹏，汪渭春，林起芊，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33