一种基于消息队列的异步数据备份方法技术

本发明专利技术公开了一种基于消息队列的异步数据备份方法，其实现过程为：首先通过客户端发起数据写入请求；然后由备份服务器读取请求消息并生成本地文件，该本地文件为临时文件，达到最大容量限制后输出数据文件；最后将本地文件上传至ftp文件备份服务器，完成备份过程。本发明专利技术的一种基于消息队列的异步数据备份方法与现有技术相比，既可以满足传统的关系型数据库，又可以满足NOSQL数据库的备份需求，真正实现了安全、可靠、高效的数据备份方案，其可应用于任何需要数据备份服务的场景，实用性强，适用范围广泛，尤其适用于具有非结构化数据备份需求的系统，具有很好的推广应用价值。

Asynchronous data backup method based on message queue

The invention discloses an asynchronous data backup method based on message queue, the process is as follows: first, initiated by the client data write request; then the backup server reads the request message and generates a local file, the local file for a temporary file, the maximum capacity limit after the output data file; finally the local file will be uploaded to FTP file backup server, complete the backup process. The invention of an asynchronous data backup method based on message queue as compared with the prior art, can not only meet the traditional relational database, NOSQL database backup and can meet the demand, so as to achieve the data backup project of the safety, reliability and efficiency, which can be applied to any data backup service scene, strong practicability and for a wide range of system is especially suitable for the non structured data backup needs, has the very good application value.

【技术实现步骤摘要】
一种基于消息队列的异步数据备份方法
本专利技术涉及大数据
，具体地说是一种基于消息队列的异步数据备份方法。
技术介绍
随着大数据时代的到来，人们越来越多的意识到数据对企业的重要性。在这个“数据即资产”的时代，如何利用数据备份来保证数据安全也成为我们迫切需要解决的难题。传统的数据备份方案大多依赖于数据库的冗余模式(主从库)，其缺点如下：依赖于特定的数据库平台，不能满足不同应用场景数据备份需求。采用主从库之间的数据复制模式，当主库因误操作执行清除数据操作时，存在数据丢失的风险。局限于结构化数据，很难支持半结构化、非结构化数据的备份需求。为了克服上述现有技术的不足，本专利技术提供了一种基于消息队列的数据备份方案，解决全品类数据备份的难题。
技术实现思路
本专利技术的技术任务是针对以上不足之处，提供一种基于消息队列的异步数据备份方法。一种基于消息队列的异步数据备份方法，其实现过程为：首先通过客户端发起数据写入请求；然后由备份服务器读取请求消息并生成本地文件，该本地文件为临时文件，达到最大容量限制后输出数据文件；最后将本地文件上传至ftp文件备份服务器，完成备份过程。在客户端发起数据写入请求本文档来自技高网...

【技术保护点】
一种基于消息队列的异步数据备份方法，其特征在于，其实现过程为：首先通过客户端发起数据写入请求；然后由备份服务器读取请求消息并生成本地文件，该本地文件为临时文件，达到最大容量限制后输出数据文件；最后将本地文件上传至ftp文件备份服务器，完成备份过程。

【技术特征摘要】
1.一种基于消息队列的异步数据备份方法，其特征在于，其实现过程为：首先通过客户端发起数据写入请求；然后由备份服务器读取请求消息并生成本地文件，该本地文件为临时文件，达到最大容量限制后输出数据文件；最后将本地文件上传至ftp文件备份服务器，完成备份过程。2.根据权利要求1所述的一种基于消息队列的异步数据备份方法，其特征在于，在客户端发起数据写入请求时，首先需要通过业务接口读取并判断是否开启备份开关配置，如果文件备份开关为开启状态，则将数据写入消息队列中。3.根据权利要求1所述的一种基于消息队列的异步数据备份方法，其特征在于，备份服务器通过持续读取消息队列来生成本地数据文件，具体过程为：备份服务器读取消息队列，判断是否有新消息，如果没有则休眠10s后继续读取，如有新消息，则读取消息内容，调用文件写入接口；文件写入接口判断是否需要生成新文件：如果不需要生成新文件，则追加写入文件内容，即采用追加的方式写入文件内容，结构化数据写文本文件，一行写一条数据，非结构化数据写二进制文件，以TLV格式写入文件内容，单个数据文件写入数据时以加锁的方式控制并发访问；如果需要生成新数据文件，则需先将临时文件输出至本地目录，然后将文件备份结果写记录，最后生成新的临时文件，写入文件内容。4.根据权利要求3所述的一种基于消息队列的异步数据备份方法，其特征在于，在上述步骤中生成的新数据文件采用如下规则命名：表名+主机ip第四段+日期+主键，并以后缀的方式区分临时文件及数据文件，新生成的临时文件以.tmp为后缀；已写...

【专利技术属性】
技术研发人员：郭凤，徐兵兵，丁庆申，董志鹏，
申请(专利权)人：山东浪潮商用系统有限公司，
类型：发明
国别省市：山东,37