数据存储管理的方法和装置制造方法及图纸

本申请公开了一种数据存储管理的方法，属于数据存储技术领域。所述方法包括：接收待存储的目标数据，基于预设的安全级别，将目标数据划分为多个数据段，并确定每个数据段的校验数据，存储每个数据段和对应的校验数据；在存储每个数据段和对应的校验数据后，每当达到预设的调整周期时，基于预设的分段数据量的提升步长，对目标数据当前的安全级别进行调整，得到调整后的安全级别；基于调整后的安全级别，将目标数据划分为多个数据段，并确定划分的每个数据段的校验数据，使用重新划分的每个数据段和对应的校验数据，替换已存储的每个数据段和对应的校验数据。采用本申请，可以有效解决在存储空间不够时，只能不断的增加存储设备的技术问题。

【技术实现步骤摘要】
数据存储管理的方法和装置
本申请涉及数据存储
，具体涉及一种数据存储管理的方法和装置。
技术介绍
在常规的云存储系统中，用户的数据被分割为多个数据段，该多个数据段保存在存储服务器的多个节点中，为了防止节点发生故障时数据丢失，常常使用网络RAID(RedundantArraysofIndependentDisks，独立冗余磁盘阵列)对用户的数据进行跨节点保护。目前常见的网络RAID的实现方式主要是基于EC(ErasureCode，纠删编码)技术，EC技术是一种数据保护方法，也是一种编码容错技术，它将数据分割成多个数据段，通过对多个数据段进行冗余编码，得到每个数据段对应的校验数据，每个数据段和其对应的校验数据分别包括若干个预设数据量的数据单元。每个数据段和对应的校验数据中包含的数据单元分别存储在不同的节点中，当部分节点发生故障的情况下，数据仍然可以恢复。根据检验数据的多少，数据往往具有不同的安全级别，数据的安全级别常常使用公式N+M来表征，其中N表征分段数据量，具体可以为单个数据段包含的数据单元的数量，M表征校验数据量，具体可以为校验本文档来自技高网...

【技术保护点】
1.一种数据存储管理的方法，其特征在于，所述方法包括：/n接收待存储的目标数据，基于预设的安全级别，将所述目标数据划分为多个数据段，并确定每个数据段的校验数据，存储每个数据段和对应的校验数据，其中，所述安全级别对应有分段数据量和校验数据量；/n在存储所述每个数据段和对应的校验数据后，每当达到预设的调整周期时，基于预设的分段数据量的提升步长，对所述目标数据当前的安全级别进行调整，得到调整后的安全级别；/n基于所述调整后的安全级别，将所述目标数据重新划分为多个数据段，并确定重新划分的每个数据段的校验数据，使用重新划分的每个数据段和对应的校验数据，替换已存储的每个数据段和对应的校验数据。/n

【技术特征摘要】
1.一种数据存储管理的方法，其特征在于，所述方法包括：
接收待存储的目标数据，基于预设的安全级别，将所述目标数据划分为多个数据段，并确定每个数据段的校验数据，存储每个数据段和对应的校验数据，其中，所述安全级别对应有分段数据量和校验数据量；
在存储所述每个数据段和对应的校验数据后，每当达到预设的调整周期时，基于预设的分段数据量的提升步长，对所述目标数据当前的安全级别进行调整，得到调整后的安全级别；
基于所述调整后的安全级别，将所述目标数据重新划分为多个数据段，并确定重新划分的每个数据段的校验数据，使用重新划分的每个数据段和对应的校验数据，替换已存储的每个数据段和对应的校验数据。


2.根据权利要求1所述的方法，其特征在于，所述基于预设的分段数据量的提升步长，对所述目标数据当前的安全级别进行调整，得到调整后的安全级别，包括：
在保持当前的安全级别对应的校验数据量不变的基础上，将当前的安全级别对应的分段数据量，提升预设的分段数据量的提升步长，得到调整后的安全级别。


3.根据权利要求1所述的方法，其特征在于，所述在存储所述每个数据段和对应的校验数据后，每当达到预设的调整周期时，基于预设的分段数据量的提升步长，对所述目标数据当前的安全级别进行调整，得到调整后的安全级别，包括：
在存储所述每个数据段和对应的校验数据后，每当达到预设的调整周期，如果所述目标数据当前的空间利用率小于预设的空间利用率上限，则基于预设的分段数据量的提升步长，对所述目标数据当前的安全级别进行调整，得到调整后的安全级别。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于预设的安全级别，将所述目标数据划分为多个数据段，并确定每个数据段对应的校验数据，存储每个数据段和对应的校验数据，其中，所述安全级别对应有分段数据量和校验数据量，包括：
将所述目标数据切分为多个预设数据量的数据单元，基于预设的安全级别对应的分段数据量，将所述多个数据单元划分为多组，其中，每组数据单元为一个数据段，每个数据段的数据量与所述分段数据量相同；
基于所述预设的安全级别对应的校验数据量，确定每个数据段的校验数据，其中，所述每个数据段的校验数据的数据量与所述校验数据量相同；
存储每个数据段和对应的校验数据。


5.根据权利要求1-3任一项所述的方法，其特征在于，所述分段数据量为划分的数据段包括的预设数据量的数据单元的数目，所述校验数据量为校验数据包括的预设数据量的数据单元的数目；
所述基于所述调整后的安全级别，将所述目标数据重新划分为多个数据段，并确定重新划分的每个数据段的校验数据，使用重新划分的每个数据段和对应的校验数据，替换已存储的每个数据段和对应的校验数据，包括：
如果所述调整后的安全级别对应的分段数据量的数值与校验数据量的数值的和小于集群中存储设备的数量，则基于所述调整后的安全级别，将所述目标数据重新划分为多个数据段，并确定重新划分的每个数据段的校验数据，使用重新划分的每个数据段和对应的校验数...

【专利技术属性】
技术研发人员：夏伟强，王伟，林起芊，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33