基于大数据机架感知技术的异地容灾备份方法及系统技术方案

本发明专利技术提供了一种基于大数据机架感知技术的异地容灾备份系统，包括数据生成中心与容灾备份中心，所述数据生成中心与容灾备份中心属于同一个Hadoop集群；所述数据生成中心与容灾备份中心的服务器通过机架感知技术配置在异地的不同的机架上，数据生成中心节点通过汇聚交换机连接，容灾备份中心的节点通过汇聚交换机连接，汇聚交换机再通过核心交换机完成整个集群网络的互联。本发明专利技术提出的数据生成中心与容灾备份中心属于同一个集群，减少了系统部署、维护的工作量；利用了机架感知技术，在数据录入数据生成中心中的HDFS文件系统同时数据会自动备份到容灾备份系统中，不需要额外开发数据同步与数据恢复程序，减小了系统的开发工作量、开发调试时间。

【技术实现步骤摘要】
基于大数据机架感知技术的异地容灾备份方法及系统
本专利技术属于数据集群
，尤其是涉及一种基于大数据机架感知技术的异地容灾备份方法及系统。
技术介绍
大数据(bigdata)指的是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量的、高增长率的和多样化的信息资产，大数据主要解决，海量数据的存储和海量数据的分析计算问题。大数据的技术基础是2003年到2004年间，Google发表了MapReduce、GFS(GoogleFileSystem)和BigTable三篇技术论文，提出了一套全新的分布式计算理论。MapReduce是分布式计算框架，GFS(GoogleFileSystem)是分布式文件系统，BigTable是基于GoogleFileSystem的数据存储系统，这三大组件组成了Google的分布式计算模型。Google的分布式计算模型相比于传统的分布式计算模型有三大优势：首先，它简化了传统的分布式计算理论，降低了技术实现的难度，可以进行实际的应用。其次，它可以应用在廉价的计算设备上，只需增加计算设备的数量就可以提升整体的计算能力，应用成本十分低廉。最后，它被Google应用在Google的计算中心，取得了很好的效果，有了实际应用的证明后，各家互联网公司开始利用Google的分布式计算模型搭建自己的分布式计算系统。Apache基金会的开源项目Hadoop采用MapReduce分布式计算框架，并根据GFS开发了HDFS分布式文件系统，根据BigTable开发了HBase数据存储系统。由于Hadoop的开源特性使其成为分布式计算系统的事实上的国际标准。Yahoo，Facebook，Amazon以及国内的百度，阿里巴巴等众多互联网公司都以Hadoop为基础搭建自己的分布式计算系统。异地容灾，就是在不同的地域，构建一套或者多套相同的应用或者数据库，起到灾难后立刻接管的作用。异地容灾对企业应用及数据库起到了安全性、业务连续性等方面的作用。中国专利：一种用于地面应用大数据异地容灾备份的系统和方法，专利申请号：201410050264.8，已经解决了数据异地容灾备份的问题。然而，在该专利技术中，使用数据生成中心与容灾备份中心两个完全独立的服务器集群进行数据容灾备份，需要设计额外的数据同步与恢复机制，在使用上不灵活，同时也增加了系统维护成本；同时该专利技术中的系统没有采用大数据内部相关技术，完全依赖于自主开发的数据同步恢复程序完成，开发工作量大，周期长、维护成本高。
技术实现思路
有鉴于此，本专利技术旨在提出一种基于大数据机架感知技术的异地容灾备份方法及系统，解决了传统异地容灾备份方式中，需要重新部署集群、开发数据备份、恢复应用程序等容灾备份系统开发周期长、维护成本高的问题。为达到上述目的，本专利技术的技术方案是这样实现的：第一方面，本专利技术提供一种基于大数据机架感知技术的异地容灾备份方法，包含如下步骤：步骤A：设置数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护；步骤B：采用机架感知技术将数据生成中心与容灾备份中心的服务器配置在不同的机架上；步骤C：使用集群维护工具，启动HDFS的HA功能，将一个NameNode节点部署在数据生成中心，另一个NameNode节点部署在容灾备份中心；步骤D：使用集群维护工具，配置至少5个ZooKeeper节点(大于5即可)，其中至少2个ZooKeeper节点部署在数据生成中心，至少3个ZooKeeper节点部署在数据备份中心，其中部署在容灾备份中心的ZooKeeper节点数量为奇数个；步骤E：使用集群维护工具设置HDFS副本为1主N备份的模式，其中N不小于2。第二方面，本专利技术提供一种基于大数据机架感知技术的异地容灾备份系统，包括数据生成中心与容灾备份中心，所述数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护；所述数据生成中心与容灾备份中心的服务器通过机架感知技术配置在异地的不同的机架上，数据生成中心节点通过汇聚交换机连接，容灾备份中心的节点通过汇聚交换机连接，汇聚交换机再通过核心交换机完成整个集群网络的互联；所述数据生成中心与容灾备份中心通过HDFS的HA功能分别部署一个NameNode节点，所述数据生成中心部署至少2个ZooKeeper节点，所述容灾备份中心部署至少3个ZooKeeper节点，其中部署在容灾备份中心的ZooKeeper节点数量为奇数个；所述HDFS副本为1主N备份的模式，其中N不小于2。相对于现有技术，本专利技术所述的方法及系统具有以下优势：(1)本专利技术是基于Hadoop的HDFS分布式系统基础上的一种异地容灾备份机制，该方法解决了传统异地容灾备份方式中，需要重新部署集群、开发数据备份、恢复应用程序等容灾备份系统开发周期长、维护成本高的问题；以快速高效实现数据的异地备份、数据恢复、数据迁移。(2)本专利技术数据生成中心与容灾备份中心属于同一个集群，减少了系统部署、维护的工作量；利用大数据技术中的机架感知技术，在数据录入数据生成中心中的HDFS文件系统同时数据会自动备份到容灾备份系统中，不需要额外开发数据同步与数据恢复程序，减小了系统的开发工作量、开发调试时间，采用该技术的系统可以统一部署，数据可以快速备份与恢复。附图说明构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1为本专利技术实施例的数据生成中心与容灾备份中心节点机架配置示意图。具体实施方式需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。本专利技术涉及的基于大数据机架感知技术的异地容灾备份系统，在部署上分为两个部分，分别部署在异地的不同机房内部。即如图1所示的数据生成中心与容灾备份中心两个部分。表1是本实施例整个集群H1-H12服务器的大数据主要组件部署分布情况。表1：结合图1与表1，以十二台大数据节点的集群为例，说明本专利技术系统的具体实现流程如下：步骤A：数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护，合理分配数据生成中心与容灾备份中心中的服务器数量，采用大数据技术中的机架感知技术，将数据生成中心与容灾备份中心的服务器配置在两个不同的机架上；本实施例将H1-H6服务器作为数据生产中心集群节点；将H7-H12作为容灾备份中心集群节点，分别部署在不同的机房。步骤B：数据生成中心节点通过汇聚交换机R1、R2连接，容灾备份中心的节点通过汇聚交换机R3、R4连接；步骤C：由于数据生成中心与容灾备份中心处于不同地点的机房内部，通过核心交换机D1、D2与本文档来自技高网...

【技术保护点】
1.基于大数据机架感知技术的异地容灾备份方法，其特征在于，包含如下步骤：/n步骤A：设置数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护；/n步骤B：采用机架感知技术将数据生成中心与容灾备份中心的服务器配置在不同的机架上；/n步骤C：使用集群维护工具，启动HDFS的HA功能，将一个NameNode节点部署在数据生成中心，另一个NameNode节点部署在容灾备份中心；/n步骤D：使用集群维护工具，配置至少5个ZooKeeper节点(大于5即可)，其中至少2个ZooKeeper节点部署在数据生成中心，至少3个ZooKeeper节点部署在数据备份中心，其中部署在容灾备份中心的ZooKeeper节点数量为奇数个；/n步骤E：使用集群维护工具设置HDFS副本为1主N备份的模式，其中N不小于2。/n

【技术特征摘要】
1.基于大数据机架感知技术的异地容灾备份方法，其特征在于，包含如下步骤：
步骤A：设置数据生成中心与容灾备份中心属于同一个Hadoop集群，由统一的集群安装部署工具管理与维护；
步骤B：采用机架感知技术将数据生成中心与容灾备份中心的服务器配置在不同的机架上；
步骤C：使用集群维护工具，启动HDFS的HA功能，将一个NameNode节点部署在数据生成中心，另一个NameNode节点部署在容灾备份中心；
步骤D：使用集群维护工具，配置至少5个ZooKeeper节点(大于5即可)，其中至少2个ZooKeeper节点部署在数据生成中心，至少3个ZooKeeper节点部署在数据备份中心，其中部署在容灾备份中心的ZooKeeper节点数量为奇数个；
步骤E：使用集群维护工具设置HDFS副本为1主N备份的模式，其中...

【专利技术属性】
技术研发人员：李光，李延波，张建军，俞光日，夏连杰，刘金栋，李延勇，
申请(专利权)人：天津七一二通信广播股份有限公司，
类型：发明
国别省市：天津;12