数据重构方法和装置制造方法及图纸

本申请提供一种数据重构方法和装置，其中，该方法包括：获取重构任务，该重构任务携带待重构的条带信息，根据待重构的条带信息和当前节点的资源使用信息确定重构任务的重构速度，并且利用待重构的条带信息以该重构速度执行重构任务。该技术方案中，重构任务的重构速度是基于当前节点的资源使用信息确定的，既避免了当前节点的空闲资源多而出现的资源浪费问题，也解决了当前节点的空闲资源少而导致的系统不稳定问题。

【技术实现步骤摘要】
数据重构方法和装置
本申请涉及数据处理
，尤其涉及一种数据重构方法和装置。
技术介绍
云存储系统是一种网络存储系统，其通过集群应用、网络技术或分布式文件系统等功能，可以将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。在现有的云存储系统中，元数据和元数据的校验数据可以采用纠删码(erasurecodes，EC)条带的方式进行存储。例如，对于N个元数据块，其对应的校验数据可以是由元数据和预设的算法生成的M个校验块。因而，当EC条带中有小于或等于M个数据块损坏时，可以通过数据重构的方式，即由N个元数据恢复出损坏的数据块，以保证数据的完整性和安全性，其中，N和M均为正整数。然而，在现有云存储系统中，数据重构速度通常是在确定数据重构时确定的，其在数据重构的过程中是一个定值，随着云存储系统中业务的进行，可能存在系统不稳定或资源浪费的问题。
技术实现思路
本申请提供一种数据重构方法和装置，以解决现有云存储系统的数据并发性读取性能低的问题。本申请第一方面提供的一种数据重构方法，包括：获取重构任务，所述重构任务携带待重构的条带信息；根据所述待重构的条带信息和当前节点的资源使用信息确定所述重构任务的重构速度；利用所述待重构的条带信息以所述重构速度执行所述重构任务。在第一方面的一种可能设计中，所述方法还包括：在所述重构任务执行的过程中，周期性检测所述当前节点的当前资源使用信息；根据所述当前资源使用信息和预设的资源变动范围更新所述重构速度。在第一方面的上述可能设计中，所述根据所述当前资源使用信息和预设的资源变动范围更新所述重构速度，包括：根据所述重构速度的理论资源使用率和预设的资源变化量，确定所述资源变动范围；判断所述当前资源使用信息是否位于所述资源变动范围内；若是，则保持所述重构速度不变；若否，则基于所述当前资源使用信息和所述重构速度的资源理论使用率，更新所述重构速度。可选的，所述当前节点的资源使用信息包括如下信息中的至少一种：处理资源的使用信息、网络带宽资源的使用信息、存储资源的使用信息。在第一方面的上述可能设计中，所述当前节点的资源使用信息包括：处理资源的使用信息、网络带宽资源的使用信息、存储资源的使用信息，所述基于所述当前资源使用信息和所述重构速度的理论资源使用率，更新所述重构速度，包括：根据所述处理资源的当前使用信息和所述重构速度对应的处理资源理论使用率，确定所述重构速度对应的第一变化量；根据所述网络带宽资源的当前使用信息和所述重构速度对应的网络带宽资源理论使用率，确定所述重构速度对应的第二变化量；根据所述存储资源的当前使用信息和所述重构速度对应的存储资源理论使用率，确定所述重构速度对应的第三变化量；利用所述第一变化量、所述第二变化量和所述第三变化量中的最小变化量，更新所述重构速度。在第一方面的另一种可能设计中，所述方法还包括：获取所述重构任务执行结束后得到的块数据；利用所述块数据和所述待重构的条带信息生成完整的条带信息；将所述完整的条带信息写入工作状态正常的存储卷中。在第一方面的再一种可能设计中，所述获取重构任务，包括：接收管理节点发送的重构任务列表，所述重构任务列表包括至少一个重构任务；从所述重构任务列表获取所述重构任务。本申请第二方面提供一种数据重构装置，包括：获取模块、处理模块和执行模块；所述获取模块，用于获取重构任务，所述重构任务携带待重构的条带信息；所述处理模块，用于根据所述待重构的条带信息和当前节点的资源使用信息确定所述重构任务的重构速度；所述执行模块，用于利用所述待重构的条带信息以所述重构速度执行所述重构任务。在第二方面的一种可能设计中，所述处理模块，还用于在所述重构任务执行的过程中，周期性检测所述当前节点的当前资源使用信息，并根据所述当前资源使用信息和预设的资源变动范围更新所述重构速度。在第二方面的上述可能设计中，所述处理模块，具体用于根据所述重构速度的理论资源使用率和预设的资源变化量，确定所述资源变动范围，判断所述当前资源使用信息是否位于所述资源变动范围内，并在所述当前资源使用信息位于所述资源变动范围内时，保持所述重构速度不变，以及在所述当前资源使用信息未位于所述资源变动范围内时，基于所述当前资源使用信息和所述重构速度的资源理论使用率，更新所述重构速度。可选的，所述当前节点的资源使用信息包括如下信息中的至少一种：处理资源的使用信息、网络带宽资源的使用信息、存储资源的使用信息。在第二方面的上述可能设计中，所述当前节点的资源使用信息包括：处理资源的使用信息、网络带宽资源的使用信息、存储资源的使用信息，所述处理模块，还具体用于根据所述处理资源的当前使用信息和所述重构速度对应的处理资源理论使用率，确定所述重构速度对应的第一变化量，根据所述网络带宽资源的当前使用信息和所述重构速度对应的网络带宽资源理论使用率，确定所述重构速度对应的第二变化量，根据所述存储资源的当前使用信息和所述重构速度对应的存储资源理论使用率，确定所述重构速度对应的第三变化量，利用所述第一变化量、所述第二变化量和所述第三变化量中的最小变化量，更新所述重构速度。在第二方面的另一种可能设计中，所述处理模块，还用于获取所述重构任务执行结束后得到的块数据，以及将所述块数据写入工作状态正常的存储卷中。在第二方面的再一种可能设计中，所述获取模块，具体用于接收管理节点发送的重构任务列表，所述重构任务列表包括至少一个重构任务，从所述重构任务列表获取所述重构任务。本申请第三方面提供一种数据重构装置，包括：处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面以及第一方面各可能设计所述的方法。本申请第四方面提供一种存储介质，所述存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如上述第一方面以及第一方面各可能设计所述的方法。本申请第五方面提供一种云存储系统，包括：管理节点和至少一个存储节点；对于所述至少一个存储节点中的每个存储节点，所述存储节点，用于执行如上述第一方面以及第一方面各可能设计所述的方法。本申请第六方面提供一种云存储系统，包括：多个存储节点，每个存储节点具有调度和管理功能；所述多个存储节点包括：具有调度、管理、存储功能的目标存储节点，所述目标存储节点，用于执行如上述第一方面以及第一方面各可能设计所述的方法。本申请实施例提供的数据重构方法和装置，通过获取重构任务，该重构任务携带待重构的条带信息，根据待重构的条带信息和当前节点的资源使用信息确定重构任务的重构速度，并且利用待重构的条带信息以该重构速度执行重构任务。该技术方案中，重构任务的重构速度是基于当前节点的资源使用信息确定的，既避免了当前节点的空闲资源多而本文档来自技高网...

【技术保护点】
1.一种数据重构方法，其特征在于，包括：/n获取重构任务，所述重构任务携带待重构的条带信息；/n根据所述待重构的条带信息和当前节点的资源使用信息确定所述重构任务的重构速度；/n利用所述待重构的条带信息以所述重构速度执行所述重构任务。/n

【技术特征摘要】
1.一种数据重构方法，其特征在于，包括：
获取重构任务，所述重构任务携带待重构的条带信息；
根据所述待重构的条带信息和当前节点的资源使用信息确定所述重构任务的重构速度；
利用所述待重构的条带信息以所述重构速度执行所述重构任务。


2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述重构任务执行的过程中，周期性检测所述当前节点的当前资源使用信息；
根据所述当前资源使用信息和预设的资源变动范围更新所述重构速度。


3.根据权利要求2所述的方法，其特征在于，所述根据所述当前资源使用信息和预设的资源变动范围更新所述重构速度，包括：
根据所述重构速度的理论资源使用率和预设的资源变化量，确定所述资源变动范围；
判断所述当前资源使用信息是否位于所述资源变动范围内；
若是，则保持所述重构速度不变；
若否，则基于所述当前资源使用信息和所述重构速度的资源理论使用率，更新所述重构速度。


4.根据权利要求3所述的方法，其特征在于，所述当前节点的资源使用信息包括如下信息中的至少一种：
处理资源的使用信息、网络带宽资源的使用信息、存储资源的使用信息。


5.根据权利要求4所述的方法，其特征在于，所述当前节点的资源使用信息包括：处理资源的使用信息、网络带宽资源的使用信息、存储资源的使用信息，所述基于所述当前资源使用信息和所述重构速度的理论资源使用率，更新所述重构速度，包括：
根据所述处理资源的当前使用信息和所述重构速度对应的处理资源理论使用率，确定所述重构速度对应的第一变化量；
根据所述网络带宽资源的当前使用信息和所述重构速度对应的网络带宽资源理论使用率，确定所述重构速度对应的第二变化量；
根据所述存储资源的当前使用信息和所述重构速度对应的存储资源理论使用率，确定所述重构速度对应的第三变化量；
利用所述第一变化量、所述第二变化量和所述第三变化量中的最小变化量，更新所述重构速度。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
获取所述重构任务执行结束后得到的块数据；
利用所述块数据和所述待重构的条带信息生成完整的条带信息；
将所述完整的条带信息写入工作状态正常的存...

【专利技术属性】
技术研发人员：苏霞，夏伟强，王伟，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33