基于HDFS的数据灾备系统技术方案

本发明专利技术提供了一种基于HDFS的数据灾备系统，包括备份中转机及HDFS，备份中转机的备份中转目录挂载于数据库服务器端，HDFS挂载于备份中转机的HDFS挂载目录中，在数据库服务器挂载备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于备份中转目录中；备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将备份结果定期转移给HDFS，并通过过期备份清理脚本对HDFS上的过期备份进行清理。由此可见，本系统兼容了HDFS的优点，具有高容错、高可靠性、高可扩展性、高可用性；此外，由于数据库服务器所备份的数据不是直接转移至HDFS，而是通过备份中转机中转转移的，进一步提升了备份数据的安全性。

【技术实现步骤摘要】
基于HDFS的数据灾备系统
本专利技术涉及数据库
，特别涉及一种基于HDFS的数据灾备系统。
技术介绍
随着科学技术的迅速发展，IT技术的运用已经渗透到了人们生活和工作的各个层面，给人们的生活带来了便利和迅捷。然而IT系统在为业务的迅猛发展提供信息技术基础架构的同时，也存在缺陷，例如由于信息和处理的高度集中使业务运转过度依赖于IT系统，会因为IT系统的突发问题时受到很大影响，严重的甚至可以导致业务系统无法正常进行。针对上述问题，各大企业采用对IT系统的数据进行备份的方式解决，以避免IT系统出现问题时对正常工作的影响，由此可见对数据做备份或者容灾意义重大。在目前的各类企业中，数据备份、容灾技术种类繁多，细言之，实现数据灾备的方法主要有如下几种：1.部署备份脚本，将数据库备份至服务器本地。该方法的不足在于：由于备份没有脱离生产环境，不能真正容灾，当生产环境出现问题，备份一块出问题。2.部署备份脚本，将数据库备份至服务器本地，并将备份以ftp/scp等方式传输至指定的备份存储服务器。该方法的不足在于：受限于备份存储服务器，比如访问的安全性，以及磁盘容量，IO性能等等。且备份集中存放，容易形成单点故障，备份系统可靠性不高。3.构建nfs共享，直接实现将数据库备份至远程。该种方式操作虽然便利，但其不足在于：安全性难以保证，生产系统与备份可以从同一个服务器上访问，另外，nfs也并非是一种很安全协议。4.采用磁带机备份，备份完毕，磁带离线保存。这种方式成本较低，但其不足在于备份的存储媒介磁带的局限性较大，备份可靠性比较低。5.采用带库或者虚拟带库实现集中备份。采用带库，容量大，备份速度快，同样会受限于磁带的劣势；若采用虚拟带库，备份可靠性高，但成本高，容量比带库小，备份速度不见得比带库快。6.在数据库层实施跨机房容灾。这种容灾兼具高可用的特点，对维护人员的素质要求较高。不便集中管理，如果有多个数据库系统，需要在每个数据库上面部署容灾。另外，容灾端的数据也是跟着生产数据而动态变化的，对于误操作的防止效果有限。此类技术有Oracle的DataGuard,GoldGate技术等等。7.存储层实施容灾。费用高，通常需要专门厂商支持，比如针对EMCDMX的SRDF技术。该方法适用于数据中心级别的容灾规划。8.采用第三方云备份。这种方式的灾备，费用不高，但是对第三方服务商的服务品质依赖较大。9.多种技术混合使用。比如在数据库层实施跨机房容灾，同时又对容灾库部署备份脚本，将数据库备份至本地或远程。多种方式虽然能解决单一方式备份的某个缺陷，往往也会带来新的局限性，同时也增加运维的复杂性。
技术实现思路
本专利技术的目的在于提供一种基于HDFS的数据灾备系统，以弥补使用现有数据灾备方法存在的不足。为解决上述技术问题，本专利技术提供一种基于HDFS的数据灾备系统，与若干数据库服务器建立通信，所述基于HDFS的数据灾备系统包括：备份中转机以及HDFS，其中，所述备份中转机包括备份中转目录、HDFS挂载目录、备份配置文件、备份转移脚本及过期备份清理脚本，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述HDFS，并通过过期备份清理脚本对所述HDFS上的过期备份进行清理。可选的，在所述的基于HDFS的数据灾备系统中，所述备份结果通过所述HDFS挂载目录转移到所述HDFS中，所述HDFS挂载目录为所述HDFS的入口。可选的，在所述的基于HDFS的数据灾备系统中，所述备份中转目录以sshfs方式或者nfs方式挂载至数据库服务器。可选的，在所述的基于HDFS的数据灾备系统中，所述HDFS通过hadoop自带的Fuse-dfs模块挂载于所述备份中转机的HDFS挂载目录中。可选的，在所述的基于HDFS的数据灾备系统中，所述HDFS通过所述HDFS的nfs网关挂载至所述备份中转机的HDFS挂载目录中。可选的，在所述的基于HDFS的数据灾备系统中，所述数据库服务器端的统一规范的备份脚本，所述备份中转机上的备份迁移脚本以及过期备份清理脚本的运行均由基于HDFS的数据灾备系统自动调度实现。可选的，在所述的基于HDFS的数据灾备系统中，所述HDFS为服务器集群。可选的，在所述的基于HDFS的数据灾备系统中，所述备份中转机的数量为至少一个。本专利技术提供了一种基于HDFS的数据灾备系统，所述基于HDFS的数据灾备系统包括备份中转机以及HDFS，所述备份中转机包括备份中转目录、HDFS挂载目录及备份配置文件，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述HDFS，并通过过期备份清理脚本对所述HDFS上的过期备份进行清理。由于本申请的数据灾备系统是基于HDFS构建的，因此兼容了HDFS的优点，具有高容错、高可靠性、高可扩展性、高可用性；由于HDFS的容量大且扩展方便的特性，因此基于HDFS的数据灾备系统能保留更长时间的备份；此外，由于数据库服务器所备份的数据不是直接转移至HDFS，而是通过备份中转机中转转移的，进一步提升了备份数据的安全性。附图说明图1是本专利技术一实施例中数据灾备系统实现架构图。具体实施方式以下结合附图和具体实施例对本专利技术提出的基于HDFS的数据灾备系统作进一步详细说明。根据下面说明和权利要求书，本专利技术的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的。Hadoop分布式文件系统(简称HDFS)是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高可用性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集的应用处理带来了很多便利。基于此，本申请将HDFS应用于数据灾备系统中作为备份数据的存储，以弥补现有数据灾备方法存在的不足。请参考图1，其为本专利技术一实施例中数据灾备系统实现架构图，如图1所示，本实施例中的数据灾备系统是利用基于HDFS的数据灾备系统实现的，所述基于HDFS的数据灾备系统与若干数据库服务器建立通信，主要包括包括备份中转机以及HDFS，其中，所述备份中转机包括备份中转目录、HDFS挂载目录、备份配置文件备份转移脚本及过期备份清理脚本，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述本文档来自技高网...

【技术保护点】
一种基于HDFS的数据灾备系统，与若干数据库服务器建立通信，其特征在于，包括：备份中转机以及HDFS，其中，所述备份中转机包括备份中转目录、HDFS挂载目录、备份配置文件、备份转移脚本及过期备份清理脚本，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述HDFS，并通过过期备份清理脚本对所述HDFS上的过期备份进行清理。

【技术特征摘要】
1.一种基于HDFS的数据灾备系统，与若干数据库服务器建立通信，其特征在于，包括：备份中转机以及HDFS，其中，所述备份中转机包括备份中转目录、HDFS挂载目录、备份配置文件、备份转移脚本及过期备份清理脚本，所述备份中转目录挂载于数据库服务器端，所述HDFS挂载于所述备份中转机的HDFS挂载目录中且HDFS不在数据库服务器上挂载，在所述数据库服务器挂载所述备份中转目录后，通过统一规范的备份脚本进行数据备份，备份结果位于所述备份中转目录中；所述备份中转机按照备份配置文件中的各个数据库的配置信息，通过备份转移脚本将所述备份结果定期转移给所述HDFS，并通过过期备份清理脚本对所述HDFS上的过期备份进行清理。2.如权利要求1所述的基于HDFS的数据灾备系统，其特征在于，所述备份结果通过所述HDFS挂载目录转移到所述HDFS中，所述HDFS挂载目录为所述HDFS的入口。3.如权利要求1所述...

【专利技术属性】
技术研发人员：刘映球，王翔，
申请(专利权)人：盛趣信息技术上海有限公司，
类型：发明
国别省市：上海;31