一种数据备份方法和系统技术方案

本发明专利技术提供了一种数据备份方法和系统，其方法包括：S100获取Nginx服务器分发的日志信息；S200备份储存所述日志信息至对应的预设储存区域。本发明专利技术通过Nginx服务器获取日志信息并分发后，将日志信息备份储存至预设储存区域内，从而实现日志信息的同步备份储存，避免数据处理传输过程出现故障时导致日志信息丢失的情况，保障数据处理的可靠性。

A data backup method and system

The invention provides a data backup method and a system, which comprises: S100 obtains log information distributed by Nginx server; S200 backs up and stores the log information to the corresponding preset storage area. After the log information is acquired and distributed by Nginx server, the log information is backed up and stored in the preset storage area, thereby realizing the synchronous backup and storage of the log information, avoiding the loss of log information when the data processing and transmission process fails, and ensuring the reliability of the data processing.

【技术实现步骤摘要】
一种数据备份方法和系统
本专利技术涉及数据处理领域，尤指一种数据备份方法和系统。
技术介绍
随着互联网工程的推进，网络数据规模越来越大，网络数据内容不断朝着“高速化、海量化”的方向不断前进，并且随着数据量的提升，对这些宝贵的数据资源进行大数据分析逐渐地成为必然。Flume是由三部分组成：source、channel和sink。其中source从Nginx等等数据发生器接收数据，channel是一种短暂的存储容器，sink将数据存储到集中存储器比如Hbase和HDFS。在实时流数据处理过程中，经过Nginx、Flume的source分发的数据暂存在Flume的channel内，然后经过Flume的sink处理后，存储到HDFS，然后压缩存储在hive中。但是数据处理过程中，往往会出现系统故障，导致数据丢失的现象，如果不实施一定措施，很容易造成大量日志数据丢失，造成无法挽回的损失。
技术实现思路
本专利技术的目的是提供一种数据备份方法和系统，实现备份数据，避免数据处理故障出现数据丢失的目的。本专利技术提供的技术方案如下：本专利技术提供一种数据备份方法，包括步骤：S100获取Nginx服务器分发的日志信息；S200备份储存所述日志信息至对应的预设储存区域。进一步的，所述步骤S100之前包括步骤：S010挂载至同一目标储存服务器；所述步骤S200包括步骤：S210将所述日志信息发送至所述目标储存服务器，使得所述目标储存服务器储存所述日志信息至对应的第一预设储存区域内。进一步的，所述S100之后，步骤S210之前包括步骤：S201设定每一Flume服务器获取的日志信息对应的储存格式和储存路径；所述第一预设储存区域包括与若干个储存路径；所述步骤S210包括步骤：S211根据所述储存格式转换所述日志信息；S212将所述转换后的日志信息发送至所述目标储存服务器，使得所述目标储存服务器储存所述转换后的日志信息至所述第一预设储存区域对应的储存路径中。进一步的，所述步骤S200还包括步骤：S220将所述日志信息发送至所述目标Flume服务器，使得所述目标Flume服务器储存所述日志信息至对应的第二预设储存区域内。进一步的，所述步骤S200还包括步骤：S230将所述日志信息储存至自身的第三预设储存区域内，且所述日志信息对应的保留时间为预设时长。本专利技术还提供一种数据备份系统，包括：获取模块和控制模块；所述获取模块与所述控制模块连接；所述获取模块，获取Nginx服务器分发的日志信息；所述控制模块，备份储存所述日志信息至对应的预设储存区域。进一步的，还包括：挂载模块，挂载至同一目标储存服务器；所述控制模块包括：第一存储单元，将所述日志信息发送至所述目标储存服务器，使得所述目标储存服务器储存所述日志信息至对应的第一预设储存区域内。进一步的，还包括：设定模块，设定每一Flume服务器获取的日志信息对应的储存格式和储存路径；所述第一预设储存区域包括与若干个储存路径；所述第一储存单元包括：转换子单元，根据所述储存格式转换所述日志信息；储存子单元，将所述转换后的日志信息发送至所述目标储存服务器，使得所述目标储存服务器储存所述转换后的日志信息至所述第一预设储存区域对应的储存路径中。进一步的，所述控制模块还包括：第二存储单元，将所述日志信息发送至所述目标Flume服务器，使得所述目标Flume服务器储存所述日志信息至对应的第二预设储存区域内。进一步的，所述控制模块还包括：第三存储单元，将所述日志信息储存至自身的第三预设储存区域内，且所述日志信息对应的保留时间为预设时长。通过本专利技术提供的一种数据备份方法和系统，能够带来以下至少一种有益效果：1)本专利技术通过Nginx服务器获取日志信息并分发至各个Flume服务器后，每个Flume服务器将自身获取到的日志信息备份储存至预设储存区域内，从而实现日志信息的同步备份储存，避免数据处理传输过程出现故障时导致日志信息丢失的情况。2)本专利技术将日志信息储存至目标储存服务器中对应的第一预设储存区域内，能够在数据处理出现故障时，通过从目标储存服务器中调取对应的日志信息，重新进行数据处理，避免数据丢失，保障数据处理的可靠性，由于直接从目标储存服务器调取相应的日志信息，能够提升数据处理的效率，而且由于储存服务器的容量大，储存备份日志信息的时间长，更能降低数据丢失的概率。3)本专利技术通过Flume服务器之间的相互备份，能够在数据处理出现故障时，通过从目标Flume服务器中调取对应的日志信息，能够避免数据丢失，保障数据处理的可靠性。附图说明下面将以明确易懂的方式，结合附图说明优选实施方式，对一种数据备份方法和系统的上述特性、技术特征、优点及其实现方式予以进一步说明。图1是本专利技术一种数据备份方法的一个实施例的流程图；图2是本专利技术一种数据备份方法的另一个实施例的流程图；图3是本专利技术一种数据备份方法的另一个实施例的流程图；图4是本专利技术一种数据备份方法的另一个实施例的流程图；图5是本专利技术一种数据备份方法的另一个实施例的流程图；图6是本专利技术一种数据备份系统的一个实施例的结构示意图。具体实施方式为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对照附图说明本专利技术的具体实施方式。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。为使图面简洁，各图中只示意性地表示出了与本专利技术相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。本专利技术一种数据备份方法的一个实施例，如图1所示，包括：S100获取Nginx服务器分发的日志信息；S200备份储存所述日志信息至对应的预设储存区域。具体的，本实施例应用于Flume服务器，由于Flume服务器是由三部分组成：source、channel和sink。其中source从Nginx服务器接收日志信息，channel短暂存储日志信息，sink将日志信息存储到集中存储器比如HDFS服务器。移动终端根据公网域名发送用户网络行为日志信息，当日志信息到达域名服务器，则域名服务器则根据DNS解析策略，将该公网域名解析到对应的公网IP中的某一个IP所在的带宽进行日志信息网络接收和传输，然后公网IP则通过NAT映射关系，将日志信息传输到对应的局域网IP所对应的内部的局域网服务器，这里通过在两台Nginx服务器上配置局域网IP(VIP：192.168.***.***)参数设置，来实现互相备份容错，每次仅仅启动其中一台，若某台出现故障，则转换到另一台操作，即执行操作的Nginx服务器状态为活跃状态(Active)，另一台则为等待被启动状态(back)，当Nginx服务器接收到日志信息后，分别将日志信息分发到多台Flume服务器，并通过Flume服务器将日志信息存储到对应的路径下。即在实时数据处理过程中，经过Flume服务器的source接收Nginx服务器分发的日志信息，将日志信息暂存在channel内，然后经过sink处理后，存储到HDFS本文档来自技高网...

【技术保护点】
1.一种数据备份方法，其特征在于，包括步骤：S100获取Nginx服务器分发的日志信息；S200备份储存所述日志信息至对应的预设储存区域。

【技术特征摘要】
1.一种数据备份方法，其特征在于，包括步骤：S100获取Nginx服务器分发的日志信息；S200备份储存所述日志信息至对应的预设储存区域。2.根据权利要求1所述的数据备份方法，其特征在于，所述步骤S100之前包括步骤：S010挂载至同一目标储存服务器；所述步骤S200包括步骤：S210将所述日志信息发送至所述目标储存服务器，使得所述目标储存服务器储存所述日志信息至对应的第一预设储存区域内。3.根据权利要求2所述的数据备份方法，其特征在于，所述S100之后，步骤S210之前包括步骤：S201设定每一Flume服务器获取的日志信息对应的储存格式和储存路径；所述第一预设储存区域包括与若干个储存路径；所述步骤S210包括步骤：S211根据所述储存格式转换所述日志信息；S212将所述转换后的日志信息发送至所述目标储存服务器，使得所述目标储存服务器储存所述转换后的日志信息至所述第一预设储存区域对应的储存路径中。4.根据权利要求1所述的数据备份方法，其特征在于，所述步骤S200还包括步骤：S220将所述日志信息发送至所述目标Flume服务器，使得所述目标Flume服务器储存所述日志信息至对应的第二预设储存区域内。5.根据权利要求1所述的数据备份方法，其特征在于，所述步骤S200还包括步骤：S230将所述日志信息储存至自身的第三预设储存区域内，且所述日志信息对应的保留时间为预设时长。6...

【专利技术属性】
技术研发人员：史欣炜，
申请(专利权)人：四川斐讯信息技术有限公司，
类型：发明
国别省市：四川,51