本发明专利技术公开了一种数据重建方法及装置、数据存储系统、存储介质。其中，该方法包括：响应数据重建指令，创建对预设存储平台进行访问的访问配置信息，其中，访问配置信息用于访问预设存储平台，以索引目标数据所属的源站存储桶中各个存储对象的对象列表；基于对象列表，确定多个存储对象的源站信息；基于源站信息，采用预先配置的调用列举接口重建每个存储对象的元数据，并将元数据写入本地集群；基于源站信息和元数据，生成数据重建任务，其中，数据重建任务用于重建目标数据。本发明专利技术解决了相关技术中采用回源方式无法实现数据的批量重建的技术问题。技术问题。技术问题。
【技术实现步骤摘要】
数据重建方法及装置、数据存储系统、存储介质
[0001]本专利技术涉及数据存储
，具体而言，涉及一种数据重建方法及装置、数据存储系统、存储介质。
技术介绍
[0002]相关技术中，随着互联网应用的高速发展，日益产生的海量非结构化数据需要存储，当前常用的数据存储方案是采用对象存储，对象存储能够提供海量存储的解决方案，支持百亿或者千亿对象产品规格。通常在数据灾备场景，针对同一款产品，通过配置数据站点同步或者桶复制功能实现数据备份，而对不同产品，通常使用数据迁移的方式，主动触发写入到另外的集群，这种方式类似于重新上传。但在多版本场景，受限于不同产品的机制，没办法实现数据的无缝迁移。
[0003]为了满足数据灾备或者对其他产品的纳管，当前的数据迁移方式是采用手动迁移的方式实现数据迁移，即在将要进行迁移的数据站点，通过使用第三方工具，列举存储桶下的对象，然后遍历桶对象，将数据写入到另外一个站点，这种方式迁移效率较低。
[0004]另外的解决方案，是采用回源的方式，即给本地的存储桶配置第三方的访问规则，在访问本地数据后，如果触发404的不存在的情况，实时去源站拿数据，写入到本地。但是这种回源的方式仅能单点触发一个对象，不能批量进行数据重建，存在缺陷。
[0005]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0006]本专利技术实施例提供了一种数据重建方法及装置、数据存储系统、存储介质，以至少解决相关技术中采用回源方式无法实现数据的批量重建的技术问题。
[0007]根据本专利技术实施例的一个方面，提供了一种数据重建方法，应用于服务端平台，包括：响应数据重建指令，创建对预设存储平台进行访问的访问配置信息，其中，所述访问配置信息用于访问所述预设存储平台，以索引目标数据所属的源站存储桶中各个存储对象的对象列表；基于所述对象列表，确定多个存储对象的源站信息；基于所述源站信息，采用预先配置的调用列举接口重建每个所述存储对象的元数据，并将所述元数据写入本地集群；基于所述源站信息和所述元数据，生成数据重建任务，其中，所述数据重建任务用于重建所述目标数据。
[0008]可选地，数据重建方法应用于预设数据重建模式，其中，所述预设数据重建模式为下述之一：普通重建模式、升级重建模式和灾难重建模式。
[0009]可选地，在所述预设数据重建模式为普通重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的步骤，包括：遍历所述对象列表，得到多个对象信息；基于所述对象信息，重建所述存储对象；判断所述本地集群中是否存在重建后的所述存储对象；若所述本地集群中不存在重建后的所述存储对象，则访问源站，得到所述存储对象的元数据信息和对象标签；将所述元数据信息和所述对象标签表征为所述源站信息。
[0010]可选地，在所述预设数据重建模式为普通重建模式的情况下，基于所述源站信息，采用预先配置的调用列举接口重建每个所述存储对象的元数据的步骤，还包括：获取所述服务端平台所支持的存储类别；根据所述存储类别，调用预先配置的调用列举接口；采用所述调用列举接口重建每个所述存储对象的元数据。
[0011]可选地，在所述预设数据重建模式为灾难重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的步骤，包括：在出现数据中心故障的情况下，获取故障数据中心在公有云中预先分层的分层数据，其中，所述分层数据包括多个分层存储桶；切换所述故障数据中心为业务数据中心；在所述业务数据中心中创建与所述分层存储桶对应的镜像存储桶；基于所述对象列表，确定多个所述镜像存储桶的源站信息。
[0012]可选地，在所述预设数据重建模式为升级重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的元数据的步骤，包括：在跨版本升级场景下，遍历所述对象列表，得到多个对象信息；基于所述对象信息，采用增量同步策略，重建所述存储对象；确定每个存储对象的源站信息的元数据。
[0013]可选地，采用增量同步策略，重建所述存储对象的步骤，包括：获取在所述服务端平台下的第二级平台的平台类型；基于所述第二级平台的平台类型，对所述服务端平台下的所述存储对象进行全量重建；在完成对所述存储对象的全量重建后，增量重建第二级存储桶下的各个存储对象。
[0014]可选地，基于所述对象列表，确定多个存储对象的源站信息的步骤，还包括：对于多版本的存储桶，获取目标数据所属的源站存储桶中每个版本的桶标识；基于每个版本的桶标识，索引所述源站存储桶中各个存储对象的对象列表；基于所述对象列表，确定多个存储对象的源站信息。
[0015]根据本专利技术实施例的另一方面，还提供了一种数据重建装置，应用于服务端平台，包括：创建单元，用于响应数据重建指令，创建对预设存储平台进行访问的访问配置信息，其中，所述访问配置信息用于访问所述预设存储平台，以索引目标数据所属的源站存储桶中各个存储对象的对象列表；确定单元，用于基于所述对象列表，确定多个存储对象的源站信息；重建单元，用于基于所述源站信息，采用预先配置的调用列举接口重建每个所述存储对象的元数据，并将所述元数据写入本地集群；生成单元，用于基于所述源站信息和所述元数据，生成数据重建任务，其中，所述数据重建任务用于重建所述目标数据。
[0016]可选地，数据重建方法应用于预设数据重建模式，其中，所述预设数据重建模式为下述之一：普通重建模式、升级重建模式和灾难重建模式。
[0017]可选地，在所述预设数据重建模式为普通重建模式的情况下，所述确定单元包括：第一遍历模块，用于遍历所述对象列表，得到多个对象信息；第一重建模块，用于基于所述对象信息，重建所述存储对象；第一判断模块，用于判断所述本地集群中是否存在重建后的所述存储对象；第一访问模块，用于在所述本地集群中不存在重建后的所述存储对象的情况下，则访问源站，得到所述存储对象的元数据信息和对象标签；第一确定模块，用于将所述元数据信息和所述对象标签表征为所述源站信息。
[0018]可选地，在所述预设数据重建模式为普通重建模式的情况下，所述重建单元还包括：第一获取模块，用于获取所述服务端平台所支持的存储类别；第一调用模块，用于根据所述存储类别，调用预先配置的调用列举接口；第一重建模块，用于采用所述调用列举接口
重建每个所述存储对象的元数据。
[0019]可选地，在所述预设数据重建模式为灾难重建模式的情况下，所述确定单元包括：第二获取模块，用于在出现数据中心故障的情况下，获取故障数据中心在公有云中预先分层的分层数据，其中，所述分层数据包括多个分层存储桶；第一切换模块，用于切换所述故障数据中心为业务数据中心；第一创建模块，用于在所述业务数据中心中创建与所述分层存储桶对应的镜像存储桶；第二确定模块，用于基于所述对象列表，确定多个所述镜像存储桶的源站信息。
[0020]可选地，在所述预设数据重建模式为升级重建模式的情况下，所述确定单元包括：第二遍历模块，用于在跨版本升级场景下，遍历所述对象列表，得到多个对象信息；第二重建模块，用于基于所述对象信本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据重建方法，其特征在于，应用于服务端平台，包括：响应数据重建指令，创建对预设存储平台进行访问的访问配置信息，其中，所述访问配置信息用于访问所述预设存储平台，以索引目标数据所属的源站存储桶中各个存储对象的对象列表；基于所述对象列表，确定多个存储对象的源站信息；基于所述源站信息，采用预先配置的调用列举接口重建每个所述存储对象的元数据，并将所述元数据写入本地集群；基于所述源站信息和所述元数据，生成数据重建任务，其中，所述数据重建任务用于重建所述目标数据。2.根据权利要求1所述的方法，其特征在于，数据重建方法应用于预设数据重建模式，其中，所述预设数据重建模式为下述之一：普通重建模式、升级重建模式和灾难重建模式。3.根据权利要求2所述的方法，其特征在于，在所述预设数据重建模式为普通重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的步骤，包括：遍历所述对象列表，得到多个对象信息；基于所述对象信息，重建所述存储对象；判断所述本地集群中是否存在重建后的所述存储对象；若所述本地集群中不存在重建后的所述存储对象，则访问源站，得到所述存储对象的元数据信息和对象标签；将所述元数据信息和所述对象标签表征为所述源站信息。4.根据权利要求3所述的方法，其特征在于，在所述预设数据重建模式为普通重建模式的情况下，基于所述源站信息，采用预先配置的调用列举接口重建每个所述存储对象的元数据的步骤，还包括：获取所述服务端平台所支持的存储类别；根据所述存储类别，调用预先配置的调用列举接口；采用所述调用列举接口重建每个所述存储对象的元数据。5.根据权利要求2所述的方法，其特征在于，在所述预设数据重建模式为灾难重建模式的情况下，基于所述对象列表，确定多个存储对象的源站信息的步骤，包括：在出现数据中心故障的情况下，获取故障数据中心在公有云中预先分层的分层数据，其中，所述分层数据包括多个分层存储桶；切换所述故障数据中心为业务数据中心；在所述业务数据中心中创建与所述分层存储桶对应的镜像存储桶；基于所述对象列表，确定多个所述镜像存储桶的源站信息。6.根据权利要求2所述的方...
【专利技术属性】
技术研发人员：卢行，冯起，张旭明，王豪迈，胥昕，
申请(专利权)人：北京星辰天合科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。