一种数据迁移方法及装置制造方法及图纸

提供了一种数据迁移方法及装置，涉及存储技术领域，能够解决在数据迁移时影响客户正常业务的问题。其方法为：第一存储系统向位置服务器发送位置更新请求，位置更新请求用于指示位置服务器将第一桶的位置信息由位于第二存储系统更新为第一存储系统；第一存储系统从第二存储系统迁移第一桶中的数据；第一存储系统接收数据访问请求，数据访问请求用于访问第一桶中的数据；第一存储系统根据数据访问请求的类型以及数据的迁移状况确定由第一存储系统或第二存储系统处理数据访问请求。本申请实施例用于存储系统间桶内数据的迁移。

A Data Migration Method and Device

A data migration method and device is provided, which relates to the field of storage technology, and can solve the problems that affect the normal business of customers in data migration. The method is as follows: the first storage system sends a location update request to the location server, which is used to instruct the location server to update the location information of the first bucket from the second storage system to the first storage system; the first storage system migrates the data in the first bucket from the second storage system; the first storage system receives the data access request and the data access request is used for visiting. Ask the data in the first bucket; the first storage system determines that the data access request is processed by the first storage system or the second storage system according to the type of data access request and the data migration status. The embodiment of this application is used for data migration in buckets between storage systems.

【技术实现步骤摘要】
一种数据迁移方法及装置
本申请涉及存储
，尤其涉及一种数据迁移方法及装置。
技术介绍
随着对象存储业务更新换代，从客户的角度希望使用性能更快，价格更合理的新存储系统，从企业管理的角度也希望新存储系统能够收编老存储系统，老存储系统下线，以减少维护系统的管理成本。因此，新老系统间的数据迁移是对象存储业务发展的必然诉求。目前，一种方案为跨区域(region)复制技术，是针对客户新增业务的跨区域备份。其原理为：用户在目标区域创建一个目标桶，然后通过配置将源区域的源桶中的存量数据或增量数据同步到目标桶，这种跨区域复制技术是一种桶之间的复制技术，要求两个桶分布于不同区域，需要花费额外的存储成本，对客户来说，这两个桶之间的数据同步，是一种数据复制技术，并非数据迁移，客户需要在数据复制完成后才能在目标桶访问数据，且需要客户决定访问源桶还是目标桶。另一种方案为通过迁移第三方数据的解决方案，这种方案包括两种技术，存量数据的导入和增量数据的回源，需要组合使用才能完成迁移。例如OssImport+镜像回源迁移方案中，如图1所示，步骤1：首先需要全量迁移T1之前的历史数据，步骤2：打开对象存储系统(ObjectStorageService，OSS)镜像回源，并将读写切换到OSS，迁移源不再新增数据，步骤3：快速迁移T1至T2间的新增数据。这种方案中，操作步骤相对复杂，需要很强的技术背景才能实现，对客户来说，也是两个桶之间的数据迁移，客户需要修改应用程序编程接口(ApplicationProgrammingInterface，API)来访问目标桶，需要花费额外的存储成本，且需要客户手动保证迁移桶之间的属性一致，迁移历史数据时新增数据还是会上传至源桶，需要再次迁移。因此，如何在迁移数据的同时不影响客户的正常业务，当前业界并没有相应的技术。
技术实现思路
本申请提供一种数据迁移方法及装置，能够解决在数据迁移时影响客户正常业务的问题。第一方面，提供一种数据迁移方法，包括：第一存储系统向位置服务器发送位置更新请求，位置更新请求用于指示位置服务器将第一桶的位置信息由位于第二存储系统更新为位于第一存储系统；从第二存储系统迁移第一桶的数据，并将数据存储于第一存储系统的第二桶中，第二桶的标识与第一桶的标识相同；接收数据访问请求，数据访问请求用于访问第一桶中的数据；第一存储系统根据数据访问请求的类型以及数据的迁移状况确定由第一存储系统或第二存储系统处理数据访问请求。这样一来，由于被迁移的第二存储系统中桶的标识与迁移至的第一存储系统中桶的标识相同，位置服务器中更新了被迁移的桶的位置信息，那么数据访问请求就会被定位给第一存储系统进行处理，第一存储系统如果根据已经迁移的数据可以处理该请求则直接进行处理，如果数据访问请求访问的数据还未迁移至第一存储系统，第一存储系统可以从第二存储系统获取反馈给客户，对于客户来说，桶的标识不变，API不变，迁移过程中客户的业务部受损，客户不感知数据的迁移，不增加客户的存储成本，能够解决在数据迁移时影响客户正常业务的问题。在一种可能的设计中，第一存储系统从第二存储系统迁移第一桶中的数据，包括：第一存储系统先迁移第一桶中对象的元数据，再迁移第一桶中除元数据以外的其余数据。这样一来，由于桶内对象的元数据和对象大小无关，基本是固定大小，迁移对象的元数据的迁移速度快。对象的元数据迁移完成后，一些数据访问请求就可以直接在第一存储系统的第二桶中直接处理，不需要将数据访问请求转发给第二存储系统，例如数据访问请求用于列举桶内对象、计算对象数或对象的生命周期管理等。在一种可能的设计中，第一存储系统接收数据访问请求，包括：第一存储系统从第二存储系统接收数据访问请求，或第一存储系统接收虚拟主机发送的数据访问请求，数据访问请求包括第一桶的标识。如果第一存储系统从第二存储系统接收数据访问请求，可以理解为客户端先将数据访问请求发送给被迁移的第二存储系统，为固定IP访问方式，发送给第二存储系统的数据访问请求携带第二存储系统的IP地址以及第一桶的标识，第二存储系统从位置服务器获知第一桶的位置信息指向第一存储系统，第二存储系统再向第一存储系统发送数据访问请求。若客户以虚拟主机发送数据访问请求，则该数据访问请求直接发送给第一存储系统。这样，无论两种方式中哪种访问方式，数据访问请求都先发送给第一存储系统进行处理，以便于第一存储系统根据已迁移的数据可以直接处理或者保存上传的数据至本地。在一种可能的设计中，第一存储系统根据数据访问请求的类型以及数据的迁移状况确定由第一存储系统或第二存储系统处理数据访问请求，包括：当数据访问请求的类型为下载类请求，第一存储系统确定下载类请求所请求的数据是否已迁移至第二桶；当下载类请求所请求的数据已迁移至第二桶，第一存储系统从第二桶获取下载类请求所请求的数据；当下载类请求所请求的数据没有迁移至第二桶，且下载类请求所请求的数据不为元数据，第一存储系统从第一桶获取下载类请求所请求的数据发送给客户端。当下载类请求所请求的数据没有迁移至第二桶，且下载类请求所请求的数据为元数据，第一存储系统从第一桶迁移元数据并保存至第二桶，将元数据发送给客户端。这样一来，数据迁移过程中，被迁移的第二存储系统和迁移至的第一存储系统同时在线对外提供服务，期间的数据访问请求会先发送给第一存储系统进行处理，对于客户来说，桶的标识和API不变，数据迁移对客户不感知，不增加客户存储成本。在一种可能的设计中，第一存储系统根据数据访问请求的类型以及数据的迁移状况确定由第一存储系统或第二存储系统处理数据访问请求，包括：当数据访问请求的类型为上传类请求，第一存储系统将上传类请求所上传的数据保存至第二桶。第二方面，提供一种存储系统，该存储系统作为第一存储系统，包括：通信模块，用于向位置服务器发送位置更新请求，位置更新请求用于指示位置服务器将第一桶的位置信息由第二存储系统更新为位于第一存储系统；通信模块，还用于从第二存储系统迁移第一桶中的数据，并将数据存储于第一存储系统的第二桶中，第二桶的标识与第一桶的标识相同；通信模块，还用于接收数据访问请求，数据访问请求用于访问第一桶中的数据；处理模块，用于根据数据访问请求的类型以及数据的迁移状况确定由第一存储系统或第二存储系统处理数据访问请求。在一种可能的设计中，通信模块用于：先迁移第一桶中对象的元数据，再迁移第一桶中除元数据以外的其余数据。在一种可能的设计中，通信模块用于：从第二存储系统接收数据访问请求，或第一存储系统接收虚拟主机发送的数据访问请求，数据访问请求包括第一桶的标识。在一种可能的设计中，处理模块用于：当数据访问请求的类型为下载类请求，确定下载类请求所请求的数据是否已迁移至第二桶；当下载类请求所请求的数据已迁移至第二桶，从第二桶获取下载类请求所请求的数据；当下载类请求所请求的数据没有迁移至第二桶，且下载类请求所请求的数据不为元数据，从第一桶获取下载类请求所请求的数据发送给客户端；当下载类请求所请求的数据没有迁移至第二桶，且下载类请求所请求的数据为元数据，第一存储系统从第一桶迁移元数据并保存至第二桶，将元数据发送给客户端。在一种可能的设计中，处理模块用于：当数据访问请求的类型为上传类请求，将上传类请求所上传的数据保存至第本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，包括：第一存储系统向位置服务器发送位置更新请求，所述位置更新请求用于指示所述位置服务器将第一桶的位置信息由位于第二存储系统更新为位于所述第一存储系统；所述第一存储系统从所述第二存储系统迁移所述第一桶的数据，并将所述数据存储于所述第一存储系统的第二桶中，所述第二桶的标识与所述第一桶的标识相同；所述第一存储系统接收数据访问请求，所述数据访问请求用于访问所述第一桶中的数据；所述第一存储系统根据所述数据访问请求的类型以及所述数据的迁移状况确定由所述第一存储系统或所述第二存储系统处理所述数据访问请求。

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：第一存储系统向位置服务器发送位置更新请求，所述位置更新请求用于指示所述位置服务器将第一桶的位置信息由位于第二存储系统更新为位于所述第一存储系统；所述第一存储系统从所述第二存储系统迁移所述第一桶的数据，并将所述数据存储于所述第一存储系统的第二桶中，所述第二桶的标识与所述第一桶的标识相同；所述第一存储系统接收数据访问请求，所述数据访问请求用于访问所述第一桶中的数据；所述第一存储系统根据所述数据访问请求的类型以及所述数据的迁移状况确定由所述第一存储系统或所述第二存储系统处理所述数据访问请求。2.根据权利要求1所述的数据迁移方法，其特征在于，所述第一存储系统从所述第二存储系统迁移所述第一桶的数据，包括：所述第一存储系统先迁移所述第一桶中对象的元数据，再迁移所述第一桶中除所述元数据以外的其余数据。3.根据权利要求1或2所述的数据迁移方法，其特征在于，所述第一存储系统接收数据访问请求，包括：所述第一存储系统从所述第二存储系统接收所述数据访问请求，或所述第一存储系统接收虚拟主机发送的所述数据访问请求，所述数据访问请求包括所述第一桶的标识。4.根据权利要求1-3任一项所述的数据迁移方法，其特征在于，所述第一存储系统根据所述数据访问请求的类型以及所述数据的迁移状况确定由所述第一存储系统或所述第二存储系统处理所述数据访问请求，包括：当所述数据访问请求的类型为下载类请求，所述第一存储系统确定所述下载类请求所请求的数据是否已迁移至所述第二桶；当所述下载类请求所请求的数据已迁移至所述第二桶，所述第一存储系统从所述第二桶获取所述下载类请求所请求的数据；当所述下载类请求所请求的数据没有迁移至所述第二桶，且所述下载类请求所请求的数据不为元数据，所述第一存储系统从所述第一桶获取所述下载类请求所请求的数据发送给客户端；当所述下载类请求所请求的数据没有迁移至所述第二桶，且所述下载类请求所请求的数据为元数据，所述第一存储系统从所述第一桶迁移所述元数据并保存至所述第二桶，将所述元数据发送给客户端。5.根据权利要求1-3任一项所述的数据迁移方法，其特征在于，所述第一存储系统根据所述数据访问请求的类型以及所述数据的迁移状况确定由所述第一存储系统或所述第二存储系统处理所述数据访问请求，包括：当所述数据访问请求的类型为上传类请求，所述第一存储系统将所述上传类请求所上传的数据保存至所述第二桶。6.一种存储系统，其特征在于，所述存储...

【专利技术属性】
技术研发人员：徐丰，张宇，林灵，凌晨，黄磊，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44