一种用于s3云服务的数据备份方法技术

本发明专利技术属于计算机技术领域，公开了一种用于s3云服务的数据备份方法，本发明专利技术通过网络映射，将S3服务的存储空间直接通往本地，被本地服务器使用，在通过FUSE相关技术将S3的映射存储空间转化为本地的设备，然后通过动态文件系统和S3云服务相结合完成基于s3云服务的数据备份。本发明专利技术使得S3云服务的备份恢复体系与传统服务器备份一样功能完整，使用更加便捷；S3云服务的用户不再需要掌握额外的操作知识体系即可使用S3云服务；客户可以实现S3服务的快照和归档等等功能；而且客户端能快速进行数据恢复，也可以选择恢复到的时间点。

A Data Backup Method for S3 Cloud Service

【技术实现步骤摘要】
一种用于s3云服务的数据备份方法
本专利技术属于计算机
，特别涉及一种用于s3云服务的数据备份和恢复方法。
技术介绍
S3（simplestorageservice）是一种简单存储服务，表现为网络上的一个大存储盘，可以方便的存储企业或者个人的大量数据。对于S3云服务的使用，业界的传统做法一般是利用S3云服务本身的接口，直接进行数据的上传下载操作，这样的做法可以满足一般的备份恢复场景。但是，如果客户有进一步的需求，如需要把数据恢复到指定时间点，或者把数据进行归档，传统的S3备份恢复体系由于缺少相关技术手段，无法实现更多的数据操作功能。
技术实现思路
专利技术目的：本专利技术针对现有技术存在的问题，提供一种能够把数据恢复到指定时间点或者把数据进行归档的用于s3云服务的数据备份方法。技术方案：为实现上述目的，本专利技术提供了一种用于s3云服务的数据备份方法，包括以下步骤：步骤1：在本地添加S3存储空间，通过s3backer软件将S3服务的存储空间映射到本地；并将映射到本地的S3服务的存储空间转化为设备块；步骤2：使用动态文件系统中的zpool指令，创建包含s3本地设备的zfs池；步骤3：在步骤中创建的包含s3本地设备的zfs池上创建存储逻辑卷；步骤4：对数据进行备份；步骤5：当数据写入存储位置后，对当前存储逻辑卷做快照处理。其中，步骤1中还包括将S3服务的存储空间分割成多个映射到本地，形成多份映射。拥有多份映射后，可以参照磁盘阵列的原理，组合成镜像,raid5，raid6等等，方便有阵列需求的场景使用。。进一步，所述步骤5中对数据备份的方法为通过网络协议，将存储空间映射到客户端，在客户端直接进行数据的读写操作。进一步，所述步骤5中对数据备份的方法为通过通过第三方网络备份软件，在存储端和客户端之间进行数据的备份操作。工作原理：本专利技术通过网络映射，将S3服务的存储空间直接通往本地，被本地服务器使用，在通过FUSE相关技术将S3的映射存储空间转化为本地的设备，然后通过动态文件系统和S3云服务相结合完成基于s3云服务的数据备份。有益效果：与现有技术相比，本专利技术使得S3云服务的备份恢复体系与传统服务器备份一样功能完整，使用更加便捷；S3云服务的用户不再需要掌握额外的操作知识体系即可使用S3云服务；客户可以实现S3服务的快照和归档等等功能；而且客户端能快速进行数据恢复，也可以选择恢复到的时间点；同时，依托于S3云服务功能的强大，也使得本地动态文件系统拥有了更多的存储来源。存储管理员即可以使用传统的磁盘阵列来提供数据存储空间，也可以使用同样的方式去使用云服务来提供数据存储空间。在无需额外部署手段和知识的情况下，不再受限于本地的存储容量限制。附图说明图1为本专利技术中添加S3存储流程图；图2为本专利技术中数据备份的工作流程图；图3为本专利技术中数据恢复的工作流程图。具体实施方式下面结合附图对本专利技术做更进一步的解释。本实施例基于主流linux系统，如deb系列的debian/ubuntu或rpm系列的redhat/centos等等，使用了部分第三方开源软件来构建或简化方案架构。其中采用s3backer用于云存储空间的提供，它实现了将S3存储空间转化为磁盘的功能，使用s3backer，简化了方案内本地设备化云服务的实施过程，无需额外关注使用fuse对内核的调度。如图1所示，本实施例中添加S3存储流程主要包括以下步骤：步骤11：将S3服务的存储空间映射到本地，再通过s3backer软件将其转化为设备块，直接当作本地设备使用。通常，每个S3服务的存储空间在服务端被称为bucket，我们把它称为云服务的数据桶，一个桶可以转化为本地的一个基础设备。一个桶也可以转化为本地的多个基础设备，即做多份映射。无论是一个还是多个基础设备，在面向本地动态文件系统的时候是类似的，我们最终会把他们转为一个统一的存储池。通过转化映射的S3存储空间为本地的基础设备，所有本地文件系统的经验和知识都可以重复使用，也避免了硬链接，扩展属性，POSIX锁定等等方面可能会引发的错误。步骤12：判断步骤11是否成功，如果成功了则执行步骤13，如果不成功，则失败退出；动态文件系统创建池的时候，如果映射失败或者转换后的磁盘失效，是无法成功创建成存储池的。步骤13：使用动态文件系统中的zpool指令，创建包含s3本地设备的zfs（动态文件系统）池；步骤14：判断步骤13是否创建成功，如果成功，则结束操作，如果不成功，则失败退出。在更为具体的使用场景中，还需要设置zfs池的属性以及配置s3backer和zfs的服务器重启恢复。zfs池的属性包括容量限额、启用压缩等。当完成S3存储流程后，开始进行数据的备份，具体的备份方法如图2所示，包括以下步骤：步骤21：在步骤13中创建的包含s3本地设备的zfs（动态文件系统）池上创建存储逻辑卷。步骤22：对数据进行备份。其中，数据的备份方式一般有两种，一种是通过网络协议iSCSI/IB/FC，将存储空间映射到客户端，在客户端直接进行数据的读写操作；另一种是通过rsync等等第三方网络备份软件，在存储和客户端之间进行数据的备份操作。步骤23：当数据写入存储位置后，即数据备份成功后，对当前存储逻辑卷做快照处理，存储快照可用于数据的恢复还原。由于zfs的底层设备由s3反向代理而成，故数据会同步至S3云端。步骤24：完成步骤23后，取消存储映射。在一次备份的过程，不但要配置好相关环境，在数据传输完毕后，也要进行必要的回收处理，以免影响系统环境，所以需要取消存储映射。如图3所示，采用本实施例提供的方法备份的数据在恢复时包括以下步骤：步骤31：对指定恢复的时间点对应存储逻辑卷的快照做克隆处理，由此生出的新的逻辑卷而不影响原有逻辑卷，数据被克隆至新的逻辑卷；步骤32：使用rsync等等网络备份软件将数据恢复至指定客户端；或者使用nfs（网络文件系统）等网络协议挂载存储空间至客户端；这样直接使用存储数据而无需进行恢复。这种快速拉起业务的方式适合于数据库紧急替用等等业务场景。步骤33：数据恢复成功后则取消存储映射并销毁克隆卷。采用本实施例提供的方法对oracle数据库恢复时，可以快速拉起临时业务，无需在海量数据的恢复过程中耗时等待。以上所述仅是本专利技术的优选实施方式，应当指出：对于本
的普通技术人员来说，在不脱离本专利技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本专利技术的保护范围。本文档来自技高网...

【技术保护点】
1.一种用于s3云服务的数据备份方法，其特征在于：包括以下步骤：步骤1：在本地添加S3存储空间，通过s3backer软件将S3服务的存储空间映射到本地；并将映射到本地的S3服务的存储空间转化为设备块；步骤2：使用动态文件系统中的zpool指令，创建包含s3本地设备的zfs池；步骤3：在步骤中创建的包含s3本地设备的zfs池上创建存储逻辑卷；步骤4：对数据进行备份；步骤5：当数据写入存储位置后，对当前存储逻辑卷做快照处理。

【技术特征摘要】
1.一种用于s3云服务的数据备份方法，其特征在于：包括以下步骤：步骤1：在本地添加S3存储空间，通过s3backer软件将S3服务的存储空间映射到本地；并将映射到本地的S3服务的存储空间转化为设备块；步骤2：使用动态文件系统中的zpool指令，创建包含s3本地设备的zfs池；步骤3：在步骤中创建的包含s3本地设备的zfs池上创建存储逻辑卷；步骤4：对数据进行备份；步骤5：当数据写入存储位置后，对当前存储逻辑卷做快照处理。2.根据权利要求1...

【专利技术属性】
技术研发人员：梁亮，
申请(专利权)人：南京云信达科技有限公司，
类型：发明
国别省市：江苏,32