日志备份方法及装置制造方法及图纸

本发明专利技术公开了一种日志备份方法及装置，该方法包括：启动备份一个或多个实例对应的日志文件的一个或多个备份进程；每隔预定周期扫描由所述一个或多个备份进程中的每一个备份进程切分过的日志文件，存储每一个备份进程切分出的日志文件。采用本发明专利技术的技术方案，可以实现对日志文件的实时备份以及日志文件的中心化管理。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种日志备份方法及装置，该方法包括：启动备份一个或多个实例对应的日志文件的一个或多个备份进程；每隔预定周期扫描由所述一个或多个备份进程中的每一个备份进程切分过的日志文件，存储每一个备份进程切分出的日志文件。采用本专利技术的技术方案，可以实现对日志文件的实时备份以及日志文件的中心化管理。【专利说明】日志备份方法及装置
本专利技术涉及数据库
，具体涉及一种日志备份方法及装置。
技术介绍
MySQL关系数据库的二进制日志文件用来记录所有用户对数据库的操作，因此，当数据库发生意外时，可以通过二进制日志文件查看到用户在此文件记录的时间段内用户所做的操作，再和数据库备份配合使用，即可再现用户操作，使数据库恢复。然而，现有技术中并没有实现对二进制日志进行实时备份的方案，如果主服务器宕机，二进制日志很有可能丢失，也就无法完成数据恢复。并且，由于所有对数据库操作的记录均会被记录到二进制文件，当二进制文件长时间开启之后，日志文件就会变得很大，占用磁盘空间，现有技术中一般通过设置日志保留时长，只保留一段时间的日志，例如，MySQL使用expire_logs_days参数设置日志的过期天数,过了指定天数后，日志将被自动删除。从而导致以前的日志丢失，不会保存完整的二进制日志；或者，定期从Master (主库所在服务器)使用数据镜像备份传送命令(rsync)或者文件复制命令(scp)等类似命令拉取至中心节点保存。现有技术存在如下缺点:( I)查找日志需要查找主库所在服务器并登录才能取得日志，没有实现日志的中心化管理。(2)没有实现日志的实时备份，如果主库所在服务器(Master)宕机，二进制日志很有可能丢失。(3) 二进制日志记录了对数据库执行更改的所有操作以及执行数据库操作的时间和执行时间等信息，因此，一旦需要恢复某一时间点(Point-1n-time)的数据，如果没有完整的二进制日志，即使有数据库的冷备份，也无法完成数据的恢复。由于冷备份发生在数据库已经正常关闭的情况下，当正常关闭时会提供一个完整的数据库，因而，当数据库处于打开状态时执行数据库文件系统备份是无效的，并且，单独使用冷备份只能提供到某一时间点上的恢复，未备份到的时间点上的数据无法恢复。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服现有技术缺陷，解决上述问题或者至少部分地解决上述问题的备份日志的装置和相应的备份日志的方法。依据本专利技术的一个方面，提供了一种日志备份方法，包括:启动备份一个或多个实例对应的日志文件的一个或多个备份进程；每隔预定周期扫描由所述一个或多个备份进程中的每一个备份进程切分过的日志文件，存储每一个备份进程切分出的日志文件。其中，所述一个或多个实例对应的日志文件的元数据被记录在元数据表中，所述元数据包括:日志文件的主库信息和备份进程最后读取的日志文件的标识和时间戳；其中，所述主库信息至少包括:主库地址、端口。进一步地，还包括:每隔预定时间检测所述一个或多个备份进程的状态，并更新所述元数据表；其中，如果检测到正常运行的备份进程，则更新所述元数据表中所述正常运行的备份进程最后读取的日志文件的标识和时间戳；或者，如果检测到中断的备份进程，则重新启动所述中断的备份进程。进一步地，还包括:如果重新启动所述中断的备份进程成功，则更新所述元数据表中所述中断的备份进程最后读取的日志文件的标识和时间戳；或者，如果重新启动所述中断的备份进程失败，则检测所述中断的备份进程对应的实例是否进行过主库切换；其中，如果是，则更新所述元数据表中所述实例对应的日志文件的元数据，并再次重新启动所述备份进程。进一步地，还包括:检测是否存在新增的实例，将新增的实例对应的日志文件的元数据写入所述元数据表，并启动备份所述新增的实例对应的日志文件的备份进程。进一步地，还包括:获取存储的每一个备份进程切分出的日志文件的时间戳，并将所述切分出的日志文件的元数据写入数据库。根据本专利技术的另一方面，提供了一种日志备份装置，包括:备份模块，用于启动备份一个或多个的实例对应的日志文件的一个或多个备份进程；存储模块，用于每隔预定周期扫描由所述一个或多个备份进程中的每一个备份进程切分过的日志文件，存储每一个备份进程切分出的日志文件。其中，所述一个或多个的实例对应的日志文件的元数据被记录在元数据表中，所述元数据包括:日志文件的主库信息和备份进程最后读取的日志文件的标识和时间戳；其中，所述主库信息至少包括:主库地址、端口。进一步地，还包括:更新模块，用于每隔预定时间检测所述一个或多个备份进程的状态，并更新所述元数据表；进一步用于:如果检测到正常运行的备份进程，则更新所述元数据表中所述正常运行的备份进程最后读取的日志文件的标识和时间戳；或者，如果检测到中断的备份进程，则重新启动所述中断的备份进程。进一步地，所述更新模块进一步用于:如果重新启动所述中断的备份进程成功，则更新所述元数据表中所述中断的备份进程最后读取的日志文件的标识和时间戳；或者，如果重新启动所述中断的备份进程失败，则检测所述中断的备份进程对应的实例是否进行过主库切换；其中，如果是，则更新所述元数据表中所述实例对应的日志文件的元数据，并再次重新启动所述备份进程。进一步地，还包括:检测模块，用于检测是否存在新增的实例，将新增的实例对应的日志文件的元数据写入所述元数据表；并且，所述备份模块进一步用于启动备份所述新增的实例对应的日志文件的备份进程。进一步地，还包括:获取模块，用于获取存储的每一个备份进程切分出的日志文件的时间戳，并将所述切分出的日志文件的元数据写入数据库。与现有技术相比，根据本专利技术的技术方案存在以下有益效果:(I)可以实现对日志文件的实时备份以及完整备份，从而能够结合数据库的备份实现很长一段时间甚至是任意时间点的数据恢复。(2)便于对数据进行统计，例如，对每个业务的写入量，平台的日志增长量等进行统计。(3)实现了日志的中心化管理，能够取到指定时间的日志文件，进而快速恢复指定时间点的数据。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的【具体实施方式】。【专利附图】【附图说明】通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:图1示出了根据本专利技术一个实施例的日志备份方法的总流程图；图2示出了根据本专利技术一个实施例的每隔预定时间检测每一个备份进程的状态的流程图；以及图3示出了根据本专利技术一个实施例的日志备份装置的结构框图。【具体实施方式】下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术的技术方案可以应用于对日志文件进行备份，尤其是在MySQL关系数据库中对二进制日志进行备份。MySQL关系数据库本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：黄智凯，杨挺，
申请(专利权)人：北京奇虎科技有限公司，奇智软件北京有限公司，
类型：发明
国别省市：