数据重构方法和装置制造方法及图纸

本申请提供一种数据重构方法和装置，其中，该方法包括：获取重构任务，该重构任务携带待重构的条带信息，根据待重构的条带信息和当前节点的资源使用信息确定重构任务的重构速度，并且利用待重构的条带信息以该重构速度执行重构任务。该技术方案中，重构任务的重构速度是基于当前节点的资源使用信息确定的，既避免了当前节点的空闲资源多而出现的资源浪费问题，也解决了当前节点的空闲资源少而导致的系统不稳定问题。

【技术实现步骤摘要】
数据重构方法和装置
本申请涉及数据处理
，尤其涉及一种数据重构方法和装置。
技术介绍
云存储系统是一种网络存储系统，其通过集群应用、网络技术或分布式文件系统等功能，可以将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。在现有的云存储系统中，元数据和元数据的校验数据可以采用纠删码(erasurecodes，EC)条带的方式进行存储。例如，对于N个元数据块，其对应的校验数据可以是由元数据和预设的算法生成的M个校验块。因而，当EC条带中有小于或等于M个数据块损坏时，可以通过数据重构的方式，即由N个元数据恢复出损坏的数据块，以保证数据的完整性和安全性，其中，N和M均为正整数。然而，在现有云存储系统中，数据重构速度通常是在确定数据重构时确定的，其在数据重构的过程中是一个定值，随着云存储系统中业务的进行，可能存在系统不稳定或资源浪费的问题。
技术实现思路
本申请提供一种数据重构方法和装置，以解决现有云存储系统的数据并发性读取性能低的问题。本申请第一方面提供的本文档来自技高网...

【技术保护点】
1.一种数据重构方法，其特征在于，包括：/n获取重构任务，所述重构任务携带待重构的条带信息；/n根据所述待重构的条带信息和当前节点的资源使用信息确定所述重构任务的重构速度；/n利用所述待重构的条带信息以所述重构速度执行所述重构任务。/n

【技术特征摘要】
1.一种数据重构方法，其特征在于，包括：
获取重构任务，所述重构任务携带待重构的条带信息；
根据所述待重构的条带信息和当前节点的资源使用信息确定所述重构任务的重构速度；
利用所述待重构的条带信息以所述重构速度执行所述重构任务。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述重构任务执行的过程中，周期性检测所述当前节点的当前资源使用信息；
根据所述当前资源使用信息和预设的资源变动范围更新所述重构速度。


3.根据权利要求2所述的方法，其特征在于，所述根据所述当前资源使用信息和预设的资源变动范围更新所述重构速度，包括：
根据所述重构速度的理论资源使用率和预设的资源变化量，确定所述资源变动范围；
判断所述当前资源使用信息是否位于所述资源变动范围内；
若是，则保持所述重构速度不变；
若否，则基于所述当前资源使用信息和所述重构速度的资源理论使用率，更新所述重构速度。


4.根据权利要求3所述的方法，其特征在于，所述当前节点的资源使用信息包括如下信息中的至少一种：
处理资源的使用信息、网络带宽资源的使用信息、存储资源的使用信息。


5.根据权利要求4所述的方法，其特征在于，所述当前节点的资源使用信息包括：处理资源的使用信息、网络带宽资源的使用信息、存储资源的使用信息，所述基于所述当前资源使用信息和所述重构速度的理论资源使用率，更新所述重构速度，包括：
根据所述处理资源的当前使用信息和所述重构速度对应的处理资源理论使用率，确定所述重构速度对应的第一变化量；
根据所述网络带宽资源的当前使用信息和所述重构速度对应的网络带宽资源理论使用率，确定所述重构速度对应的第二变化量；
根据所述存储资源的当前使用信息和所述重构速度对应的存储资源理论使用率，确定所述重构速度对应的第三变化量；
利用所述第一变化量、所述第二变化量和所述第三变化量中的最小变化量，更新所述重构速度。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
获取所述重构任务执行结束后得到的块数据；
利用所述块数据和所述待重构的条带信息生成完整的条带信息；
将所述完整的条带信息写入工作状态正常的存...

【专利技术属性】
技术研发人员：苏霞，夏伟强，王伟，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33