对象存储数据备份方法与装置、存储介质制造方法及图纸

本发明专利技术公开了一种对象存储备份方法、服务器装置及存储介质，涉及对象存储备份领域，其中对象存储备份方法包括：获取所述源端以及目标端对象存储数据，对比生成待备份列表；将所述待备份列表中对象存储数据从所述源端发送到所述目标端；对已备份的对象存储数据与所述源端对象存储数据进行一致性对比；统计上述步骤中数据，并进行记录。上述对象存储备份方法，实现多租户的数据备份，同时支持全量同步备份与增量同步备份，备份数据传输队列可以根据不同的使用情况更改待传输队列大小，更好的适配各种性能的服务器以及网络带宽，压缩同步时间与同步网络带宽，降低网络拥塞，提高传输效率，同时一致性对比与回填机制，对备份数据进行校验保证的数据准确性与一致性。验保证的数据准确性与一致性。验保证的数据准确性与一致性。

【技术实现步骤摘要】
对象存储数据备份方法与装置、存储介质


[0001]本专利技术涉及对象存储数据处理
，具体涉及一种对象存储数据备份方法与装置及存储介质。

技术介绍

[0002]证券行情数据作为证券市场参与人进行交易的关键信息，具有高商业价值、数据量巨大的特点。为满足监控要求需要进行数据长久同城存储与异地存储。在金融科技的快速发展下，使用对象存储来存储行情数据成为首选之一，因为对象存储具体成本低，高性能、高可靠性、断点续传等特性。
[0003]同时因为上述特性，对象存储还大量应用于生产环境主用数据的存储，比如某证券期货行业电子合同系统。应用系统生产数据对企业同样具有很高的商业价值。无论行情数据还是业务系统生产数据都有同城或者异地数据备份的需求。针对对象存储中的数据如何进行备份成为一个共性问题，然而目前备份软件对对象存储数据的备份支持都不足，且大多数都是把对象存储作为备份操作的目标端。这样就产生了对象存储数据备份到对象存储的需求。
[0004]传统的存储媒介通常都提供POSIX语义进行访问，不同于传统存储，对象存储在使用过程中是以HTTP或HTTPS协议进行通信和传输。当前只有从本地目录到对象存储一次性的、全量数据的迁移方法与工具，其对数据处理都是按照本地文件的方式进行读写，即使是NFS或者CIFS协议，也是先挂载在某个本地路径下，然后进行读写，大都时间开销大，效率低且不支持增量迁移。
[0005]而对象存储比较特殊，例如AWS的S3，通常并不提供挂载方式读写，因此现有技术不能兼容备份源端为对象存储的场景。同时，当前没有支持对象存储之间租户与存储桶两级的数据备份工具；更没有同时支持全量备份与增量备份的对象存储数据备份方法。此本专利技术方法与装置针对上述问题，解决面向租户与存储桶两级多租户数据从主用对象存储向备用对象存储的数据备份问题。
[0006]相关技术中存在中国专利申请文献CN112099989A，名称为一种Kubernetes云原生应用灾备、迁移与恢复的方法，此方案通过在kubernetes集群中将应用数据与状态通过一个进程OSController整理为集群的备份源数据，并作为数据源输入给Restic工具。由于这里的OSController整合好的数据是传统的文件，因此Restic能把文件备份到Minio对象存储。然而这种方式仍然无法解决对象存储作为数据源的场景，也不支持多租户的数据备份。只能转化为单租户场景文件存储备份到对象存储。
[0007]相关技术中存在中国专利申请文献CN 113835925A，名称为存储对象备份方法及装置。此方案通过Rclone映射工具读取存储对象的文件结构；通过模拟接口根据文件结构，确定存储对象的最小文件结构映射层；通过Restic备份工具并通过最小文件结构映射层，读取存储对象，并对存储对象进行备份。然而这种方法存在如下问题：
[0008]1、Rclone与Restic是两套开源软件，只支持单租户，无法支持多套租户的数据备
份。
[0009]2、Rclone与Restic是两套开源软件，两边存在时间差，存在数据不匹配或者不一致情况。
[0010]3、此方法只支持一次的全量同步，不支持增量同步。
[0011]专利文献：CN 113835925A中的方法备份后没有对备份数据进行校验与异常情况的回填机制。

技术实现思路

[0012]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术实施例提出一种对象存储数据备份方法，通过本方法，实现多租户的数据备份，同时支持全量同步与增量同步，大大压缩同步时间与同步网络带宽，同时备份后对备份数据进行校验保证的数据准确性与一致性。
[0013]本专利技术实施例还提出一种对象存储数据备份服务器装置。
[0014]本专利技术实施例还提出一种计算机可读存储介质。
[0015]根据本专利技术的第一方面实施例的对象存储数据备份方法，包括：服务器装置、备份目标端、备份源端，所述方法包括：
[0016]获取所述源端以及目标端对象存储数据，对比生成待备份列表；将所述待备份列表中对象存储数据从所述源端发送到所述目标端；对已备份的对象存储数据与所述源端对象存储数据进行一致性对比；统计上述步骤中数据，并进行记录。
[0017]根据本专利技术的一些实施例，所述方法还包括：存储桶，所述存储桶为对象存储中存储数据的逻辑容器，所述待备份列表是由租户与存储桶配置信息筛选所述源端的数据与目标端数据进行对比得到，其方法包括：
[0018]根据租户与存储桶配置从源端获取数据并进行筛选得到源端未对比数据；根据租户与存储桶配置从目标端获取数据并进行筛选得到目标端未对比数据；将源端未对比数据与目标端未对比数据进行对比获得待备份数据，具体方法如下：
[0019]收取从源端和目标端传输来未比对的数据，存储于服务器装置中；对比处理服务器装置中收取的数据，并输出处理数据，数据比对使用公式具体为：
[0020]DIFF＝Sn∪Cn
‑
Sn∩Cn，其中n大于等于1；DIFF值为源端与目标端对象存储系统数据一致性情况的结果。如DIFF值为空表示一致，如DIFF值不为空表示源端有待备份数据，即为待备份列表；Sn表示源端第n次获取的全量数据；Cn表示目标端第n次获取的全量数据；将上述步骤中输出数据经由远程通信协议返回传输至服务器装置。
[0021]根据本专利技术的一些实施例，根据租户与存储桶配置与待备份列表，将待备份列表中数据下载、传输并存入目标对象存储端；并实时更新列表信息状态，包括：
[0022]根据租户与存储桶配置、待备份列表获取所述待备份数据；根据服务器与网络状态动态调整传输队列大小，利用HTTP或HTTPS协议根据传输队列传输数据存入目标对象存储端，并且实时更新传输队列大小保证传输效率的最大化；其中：
[0023]传输队列的大小：min{cpu核数，分配网络宽数
‑
当前网络带宽数，并发任务数}。
[0024]根据本专利技术的一些实施例，将所述从源端备份至目标端的数据与所述源端初始数据进行一致性比对，以得到一致性比对结果，包括：
[0025]根据传输完成列表从源端与目标端获取传输对象的元数据信息；对比数据在源端与目标端元数据信息,得到一致性对比结果。
[0026]根据本专利技术的一些实施例，将所述待备份列表、传输队列、传输并校验成功以及失败的数据信息实时统计并记录。包括：将获取的待备份数据列表作为待过滤数据，仅将下载并成功上传到目标端并且最后通过校验的作为备份成功数据，其余数据作为备份失败数据处理，待下次备份进行回填重试。
[0027]根据本专利技术第一方面实施例的对象存储数据备份方法，至少具有如下有益效果：
[0028]实现多租户的数据备份，同时支持全量同步备份与增量同步备份，备份数据传输队列可以根据不同的使用情况更改待传输队列大小，能够更好得适配各种性能的服务器以及网络带宽，大大压缩同步时间与同步网络带宽，降低网络拥塞，提高传输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种对象存储数据备份方法，包括服务器装置、备份目标端、备份源端，其特征在于，所述方法包括以下步骤：S1：获取所述源端以及目标端对象存储数据，对比生成待备份列表；S2：将所述待备份列表中对象存储数据从所述源端发送到所述目标端；S3：对已备份的对象存储数据与所述源端对象存储数据进行一致性对比；S4：统计S1至S3步骤中对象存储数据，并进行记录。2.根据权利要求1所述的对象存储数据备份方法，其特征在于，还包括存储桶，所述存储桶为对象存储中存储数据的逻辑容器，所述待备份列表是由租户与存储桶配置信息筛选所述源端对象存储数据与目标端对象存储数据进行对比得到，其方法包括以下步骤：S10：根据租户与存储桶配置从源端获取对象存储数据并进行筛选得到源端未对比数据；S20：根据租户与存储桶配置从目标端获取对象存储数据并进行筛选得到目标端未对比数据；S30：将源端未对比数据与目标端未对比数据进行对比获得待备份数据，具体方法如下：S300：收取从源端和目标端传输来未比对的数据，存储于服务器装置中；S310：对比处理服务器装置中收取的数据，并输出处理数据，数据对比使用公式具体为：DIFF＝Sn∪Cn
‑
Sn∩Cn，其中n大于等于1；DIFF值为源端与目标端对象存储系统数据一致性对比的结果，如DIFF值为空表示一致，如DIFF值不为空表示源端有待备份数据，即为待备份列表；Sn表示源端第n次获取的全量数据；Cn表示目标端第n次获取的全量数据；S320：将S310步骤中输出数据经由远程通信协议返回传输至服务器装置。3.根据权利要求2所述的对象存储数据备份方法，其特征在于，根据租户和或存储桶配置与待备份列表，将待备份列表中数据下载、传输并存入目标对象存储端；并实时更新列表信息状态，其步骤包括：S40:根据租户与存储桶配置、...

【专利技术属性】
技术研发人员：陈帮民，王苏川，蒙贵斌，余传锋，巫禄芳，张鹏，李长固，
申请(专利权)人：深圳证券通信有限公司，
类型：发明
国别省市：