本发明专利技术公开了一种文件存储分布式增量备份方法及系统，属于基于ceph的对象存储领域；所述的方法具体步骤如下：S1对备份服务系统进行初始化设定；S2在本地安装备份客户端并完成相对应的配置文件配置，创建备份任务；S3利用任务分发模式进行数据备份；S4对备份服务器状态进行检测和资源管理；本发明专利技术方法采用任务分发的模式，保证每次任务备份量合适，减少由于网络波动造成的备份任务失败，同时，通过单次备份适量数据，保证即使失败也不会重新传输大量数据；增加容错性的同时也减少了文件备份所需要的的时间。需要的的时间。需要的的时间。
【技术实现步骤摘要】
一种文件存储分布式增量备份方法及系统
[0001]本专利技术公开一种文件存储分布式增量备份方法及系统，涉及基于ceph的对象存储
技术介绍
[0002]随着互联网和大数据的发展，数据存储量呈现指数上升，越来越多的数据需要存储，文件备份成为数据存储尤其是互联网项目中必不可少的需求，现有的备份方式有磁盘备份、虚拟机备份、多副本等，它们拥有响应快、可用性高等优点，但是随着数据量增加，备份会出现时间长、备份数据重复、多副本同步慢、备份存储成本高等问题越来越突出。
[0003]文件系统备份拥有备份灵活、备份文件数量相对较少、备份速度快等特点，同时对象存储作为一种分布式存储，有着容量大、安全性高、成本低等优势。故现专利技术一种文件存储分布式增量备份方法及系统，以解决上述问题。
技术实现思路
[0004]本专利技术针对现有技术的问题，提供一种文件存储分布式增量备份方法及系统，所采用的技术方案为：一种文件存储分布式增量备份方法，所述的方法具体步骤如下：
[0005]S1对备份服务系统进行初始化设定；
[0006]S2在本地安装备份客户端并完成相对应的配置文件配置，创建备份任务；
[0007]S3利用任务分发模式进行数据备份；
[0008]S4对备份服务器状态进行检测和资源管理。
[0009]所述S1对备份服务系统进行初始化设定的具体步骤如下：
[0010]S101将备份服务系统进行部署；
[0011]S102执行采集任务，根据配置文件配置的参数创建备份服务器；
[0012]S103备份服务器执行脚本检查自身状态，将服务器挂载到文件系统上；
[0013]S104备份服务器回调备份服务系统，开启备份功能。
[0014]所述S2在本地安装备份客户端并完成相对应的配置文件配置，创建备份任务的具体步骤如下：
[0015]S201用户通过客户端程序请求备份文件系统；
[0016]S202Nginx将识别备份请求，转发到备份服务系统；
[0017]S203从对象存储获取备份文件系统的上一次备份的snapshot文件，生成新的snapshot文件；
[0018]S204备份任务按照监控系统采集的结果，将旧的snapshot和备份任务合理的分配给每个备份服务器。
[0019]所述S3利用任务分发模式进行数据备份的具体步骤如下：
[0020]S301备份服务器将备份任务挂在在文件系统中；
[0021]S302备份服务器使用tar命令，将需要备份的数量增量备份到对象存储；
[0022]S303回调备份服务系统，查看是否存在需要备份的任务。
[0023]所述S4对备份服务器状态进行检测和资源管理的具体步骤如下：
[0024]S401根据获取的每个备份服务器的状态，创建、删除备份服务器；
[0025]S402利用函数计算服务根据设定的模板创建备份服务器；
[0026]S403主动采集每个服务器的状态，将非故障服务器的采集结果计算得到相对分数，作为分发任务的依据。
[0027]一种文件存储分布式增量备份系统，所述的系统具体包括初始设定模块、备份创建模块、数据备份模块和备份监控模块：
[0028]初始设定模块：对备份服务系统进行初始化设定；
[0029]备份创建模块：在本地安装备份客户端并完成相对应的配置文件配置，创建备份任务；
[0030]数据备份模块：利用任务分发模式进行数据备份；
[0031]备份监控模块：对备份服务器状态进行检测和资源管理。
[0032]所述初始设定模块具体包括系统部署模块、参数处理模块、服务挂载模块和功能开启模块：
[0033]系统部署模块：将备份服务系统进行部署；
[0034]参数处理模块：执行采集任务，根据配置文件配置的参数创建备份服务器；
[0035]服务挂载模块：备份服务器执行脚本检查自身状态，将服务器挂载到文件系统上；
[0036]功能开启模块：备份服务器回调备份服务系统，开启备份功能。
[0037]所述备份创建模块具体包括备份请求模块、请求处理模块、文件处理模块和文件分配模块：
[0038]备份请求模块：用户通过客户端程序请求备份文件系统；
[0039]请求处理模块：Nginx将识别备份请求，转发到备份服务系统；
[0040]文件处理模块：从对象存储获取备份文件系统的上一次备份的snapshot文件，生成新的snapshot文件；
[0041]文件分配模块：备份任务按照监控系统采集的结果，将旧的snapshot和备份任务合理的分配给每个备份服务器。
[0042]所述数据备份模块具体包括备份挂载模块、数量备份模块和任务查询模块：
[0043]备份挂载模块：备份服务器将备份任务挂在在文件系统中；
[0044]数量备份模块：备份服务器使用tar命令，将需要备份的数量增量备份到对象存储；
[0045]任务查询模块：回调备份服务系统，查看是否存在需要备份的任务。
[0046]所述备份监控模块具体包括备份处理模块、模板处理模块和状态采集模块：
[0047]备份处理模块：根据获取的每个备份服务器的状态，创建、删除备份服务器；
[0048]模板处理模块：利用函数计算服务根据设定的模板创建备份服务器；
[0049]状态采集模块：主动采集每个服务器的状态，将非故障服务器的采集结果计算得到相对分数，作为分发任务的依据。
[0050]本专利技术的有益效果为：本专利技术是一种文件存储分布式增量备份方法，本专利技术方法采用分布式备份，可以根据监控的结果、整个集群的运行状况，实现备份服务器的扩增或者
减少，充分利用集群性能，避免由于备份任务过多造成任务积压的现象；
[0051]本专利技术方法采用任务分发的模式，保证每次任务备份量合适，减少由于网络波动造成的备份任务失败，同时，通过单次备份适量数据，保证即使失败也不会重新传输大量数据；增加容错性的同时也减少了文件备份所需要的的时间。
附图说明
[0052]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0053]图1是本专利技术实施例中各组件的关系示意图；图2是本专利技术实施例的备份任务流程图；图3是本专利技术实施例的监控任务流程图。
具体实施方式
[0054]下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。
[0055]本专利技术主要涉及六个子模块：
[0056]备份服务系统(monitor)，包含任务分发系统和监控系统，本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文件存储分布式增量备份方法，其特征是所述的方法具体步骤如下：S1对备份服务系统进行初始化设定；S2在本地安装备份客户端并完成相对应的配置文件配置，创建备份任务；S3利用任务分发模式进行数据备份；S4对备份服务器状态进行检测和资源管理。2.根据权利要求1所述的方法，其特征是所述S1对备份服务系统进行初始化设定的具体步骤如下：S101将备份服务系统进行部署；S102执行采集任务，根据配置文件配置的参数创建备份服务器；S103备份服务器执行脚本检查自身状态，将服务器挂载到文件系统上；S104备份服务器回调备份服务系统，开启备份功能。3.根据权利要求2所述的方法，其特征是所述S2在本地安装备份客户端并完成相对应的配置文件配置，创建备份任务的具体步骤如下：S201用户通过客户端程序请求备份文件系统；S202Nginx将识别备份请求，转发到备份服务系统；S203从对象存储获取备份文件系统的上一次备份的snapshot文件，生成新的snapshot文件；S204备份任务按照监控系统采集的结果，将旧的snapshot和备份任务合理的分配给每个备份服务器。4.根据权利要求3所述的方法，其特征是所述S3利用任务分发模式进行数据备份的具体步骤如下：S301备份服务器将备份任务挂在在文件系统中；S302备份服务器使用tar命令，将需要备份的数量增量备份到对象存储；S303回调备份服务系统，查看是否存在需要备份的任务。5.根据权利要求4所述的方法，其特征是所述S4对备份服务器状态进行检测和资源管理的具体步骤如下：S401根据获取的每个备份服务器的状态，创建、删除备份服务器；S402利用函数计算服务根据设定的模板创建备份服务器；S403主动采集每个服务器的状态，将非故障服务器的采集结果计算得到相对分数，作为分发任务的依据。6.一种文件存储分布式增量备份系统，其特征是所述的系统具体包括初始设定模块、备份创建模块、数据备份模块和备份监控模块：初始设...
【专利技术属性】
技术研发人员：闵瑞，李超，王大帅，
申请(专利权)人：浪潮云信息技术股份公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。