数据迁移方法和装置制造方法及图纸

本公开是关于一种数据迁移方法和装置，属于数据存储技术领域。所述方法包括：确定已使用时长超过预设的使用限制时长的待迁移磁盘，将待迁移磁盘的状态标记为处于迁移状态；对于待迁移磁盘中的每个对象块，基于预先获取的多个存储服务器的性能信息，在多个存储服务器中，确定目标存储服务器，在目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定目标磁盘，将对象块中的数据复制到目标磁盘中。采用本公开，通过将数据存储到未处于迁移状态的磁盘的方式，可以避免数据在目标磁盘中丢失，保证数据的完整性。

【技术实现步骤摘要】
数据迁移方法和装置
本公开是关于数据存储
，尤其是关于一种数据迁移方法和装置。
技术介绍
在相关技术中，可以在云端设置有存储系统，用于存储用户上传的数据。用户只需从预设的接口上传数据，或者从预设的接口下载数据，而无需关心存储系统本身是如何部署的等情况。存储系统可以由运营商进行部署和维护。在云端中进行数据存储时，可以对数据进行分散存储。可以将数据进行切分，得到多个数据单元，再将多个数据单元进行分散存储。在存储系统中，可以设置有多个存储服务器，在每个存储服务器中进一步可以设置有多个磁盘。因此，可以将多个数据单元分散存储到存储系统中的不同存储服务器的不同磁盘中。在对磁盘进行格式化时，可以将一整个磁盘划分为多个对象块，在后续存储过程中，每个对象块用于存储一个数据单元。在实现本公开的过程中，专利技术人发现至少存在以下问题：对于磁盘来说，每个磁盘都有各自的使用限制时长，例如，磁盘A的使用限制时长是8年。当已使用时长达到任一磁盘的使用限制时长时，磁盘就很容易发生故障，存储到发生故障的磁盘中的数据就会丢失，造成不可挽回的损失。
技术实现思路
为了克服相关技术中存在的问题，本公开提供了以下技术方案：根据本公开实施例的第一方面，提供一种数据迁移方法，所述方法包括：确定已使用时长超过预设的使用限制时长的待迁移磁盘，将所述待迁移磁盘的状态标记为处于迁移状态；对于所述待迁移磁盘中的每个对象块，基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定目标存储服务器，在所述目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定目标磁盘，将所述对象块中的数据复制到所述目标磁盘中。可选地，所述性能信息包括服务器负载、剩余存储空间、可分配存储空间中的至少一项。可选地，所述性能信息包括服务器负载、剩余存储空间和可分配存储空间，所述基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定目标存储服务器，包括：在所述多个存储服务器中，确定服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量的目标存储服务器。可选地，所述在所述多个存储服务器中，确定服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量的目标存储服务器，包括：如果所述待迁移磁盘所属的存储服务器的服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量，则将所述待迁移磁盘所属的存储服务器确定为目标存储服务器；如果所述待迁移磁盘所属的存储服务器的服务器负载大于预设负载阈值、剩余存储空间小于所述对象块中的数据的数据量、或者可分配存储空间小于所述对象块中的数据的数据量，则在除所述待迁移磁盘所属的存储服务器之外的存储服务器中，确定服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量的目标存储服务器。可选地，所述在所述目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定目标磁盘，包括：确定所述目标存储服务器中当前状态为未处于迁移状态的磁盘的剩余存储空间；基于所述未处于迁移状态的磁盘的剩余存储空间，确定所述未处于迁移状态的磁盘的选择概率，其中，所述未处于迁移状态的磁盘的剩余存储空间越大，对应的选择概率越大；在所述未处于迁移状态的磁盘中，基于所述未处于迁移状态的磁盘的选择概率，选择一个磁盘作为目标磁盘。可选地，所述对于所述待迁移磁盘中的每个对象块，基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定目标存储服务器，在所述目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定目标磁盘，将所述对象块中的数据复制到所述目标磁盘中，包括：确定所述待迁移磁盘中各对象块中的数据的数据属性；在所述各对象块中，确定数据属性属于预设的优先迁移数据属性集合的优先迁移对象块；对于每个优先迁移对象块，优先基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定用于迁移优先迁移对象块中的数据的目标存储服务器，在所述用于迁移优先迁移对象块中的数据的目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定用于迁移优先迁移对象块中的数据的目标磁盘，将所述优先迁移对象块中的数据复制到所述用于迁移优先迁移对象块中的数据的目标磁盘中；在迁移完毕所有优先迁移对象块中的数据之后，对于数据属性不属于预设的优先迁移数据属性集合的每个非优先迁移对象块，基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定用于迁移非优先迁移对象块中的数据的目标存储服务器，在所述用于迁移非优先迁移对象块中的数据的目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定用于迁移非优先迁移对象块中的数据的目标磁盘，将所述非优先迁移对象块中的数据复制到所述用于迁移非优先迁移对象块中的数据的目标磁盘中。根据本公开实施例的第二方面，提供一种数据迁移装置，所述装置包括：标记模块，用于确定已使用时长超过预设的使用限制时长的待迁移磁盘，将所述待迁移磁盘的状态标记为处于迁移状态；复制模块，用于对于所述待迁移磁盘中的每个对象块，基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定目标存储服务器，在所述目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定目标磁盘，将所述对象块中的数据复制到所述目标磁盘中。可选地，所述性能信息包括服务器负载、剩余存储空间、可分配存储空间中的至少一项。可选地，所述性能信息包括服务器负载、剩余存储空间和可分配存储空间，所述复制模块，用于：在所述多个存储服务器中，确定服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量的目标存储服务器。可选地，所述复制模块，用于：当所述待迁移磁盘所属的存储服务器的服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量时，将所述待迁移磁盘所属的存储服务器确定为目标存储服务器；当所述待迁移磁盘所属的存储服务器的服务器负载大于预设负载阈值、剩余存储空间小于所述对象块中的数据的数据量、或者可分配存储空间小于所述对象块中的数据的数据量时，在除所述待迁移磁盘所属的存储服务器之外的存储服务器中，确定服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量的目标存储服务器。可选地，所述复制模块，用于：确定所述目标存储服务器中当前本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，所述方法包括：/n确定已使用时长超过预设的使用限制时长的待迁移磁盘，将所述待迁移磁盘的状态标记为处于迁移状态；/n对于所述待迁移磁盘中的每个对象块，基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定目标存储服务器，在所述目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定目标磁盘，将所述对象块中的数据复制到所述目标磁盘中。/n

【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：
确定已使用时长超过预设的使用限制时长的待迁移磁盘，将所述待迁移磁盘的状态标记为处于迁移状态；
对于所述待迁移磁盘中的每个对象块，基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定目标存储服务器，在所述目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定目标磁盘，将所述对象块中的数据复制到所述目标磁盘中。


2.根据权利要求1所述的方法，其特征在于，所述性能信息包括服务器负载、剩余存储空间、可分配存储空间中的至少一项。


3.根据权利要求2所述的方法，其特征在于，所述性能信息包括服务器负载、剩余存储空间和可分配存储空间，所述基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定目标存储服务器，包括：
在所述多个存储服务器中，确定服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量的目标存储服务器。


4.根据权利要求3所述的方法，其特征在于，所述在所述多个存储服务器中，确定服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量的目标存储服务器，包括：
如果所述待迁移磁盘所属的存储服务器的服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量，则将所述待迁移磁盘所属的存储服务器确定为目标存储服务器；
如果所述待迁移磁盘所属的存储服务器的服务器负载大于预设负载阈值、剩余存储空间小于所述对象块中的数据的数据量、或者可分配存储空间小于所述对象块中的数据的数据量，则在除所述待迁移磁盘所属的存储服务器之外的存储服务器中，确定服务器负载小于或者等于预设负载阈值、剩余存储空间大于或者等于所述对象块中的数据的数据量、且可分配存储空间大于或者等于所述对象块中的数据的数据量的目标存储服务器。


5.根据权利要求1所述的方法，其特征在于，所述在所述目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定目标磁盘，包括：
确定所述目标存储服务器中当前状态为未处于迁移状态的磁盘的剩余存储空间；
基于所述未处于迁移状态的磁盘的剩余存储空间，确定所述未处于迁移状态的磁盘的选择概率，其中，所述未处于迁移状态的磁盘的剩余存储空间越大，对应的选择概率越大；
在所述未处于迁移状态的磁盘中，基于所述未处于迁移状态的磁盘的选择概率，选择一个磁盘作为目标磁盘。


6.根据权利要求1所述的方法，其特征在于，所述对于所述待迁移磁盘中的每个对象块，基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定目标存储服务器，在所述目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定目标磁盘，将所述对象块中的数据复制到所述目标磁盘中，包括：
确定所述待迁移磁盘中各对象块中的数据的数据属性；
在所述各对象块中，确定数据属性属于预设的优先迁移数据属性集合的优先迁移对象块；
对于每个优先迁移对象块，优先基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定用于迁移优先迁移对象块中的数据的目标存储服务器，在所述用于迁移优先迁移对象块中的数据的目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定用于迁移优先迁移对象块中的数据的目标磁盘，将所述优先迁移对象块中的数据复制到所述用于迁移优先迁移对象块中的数据的目标磁盘中；
在迁移完毕所有优先迁移对象块中的数据之后，对于数据属性不属于预设的优先迁移数据属性集合的每个非优先迁移对象块，基于预先获取的多个存储服务器的性能信息，在所述多个存储服务器中，确定用于迁移非优先迁移对象块中的数据的目标存储服务器，在所述用于迁移非优先迁移对象块中的数据的目标存储服务器中当前状态为未处于迁移状态的磁盘中，确定用于迁移非优先迁移对象块中的数据的目标磁盘，将所述非优先迁移对象块中的数据复制到所述用于迁移非优先迁移对象块中的数据的目标磁盘中。
...

【专利技术属性】
技术研发人员：金振军，林鹏，叶敏，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33