一种日志文件的处理方法、装置、设备及介质制造方法及图纸

本申请公开了一种日志文件的处理方法、装置、设备及介质，该方法包括：当操作处理主数据库的数据时，获取主数据库的主进程运行时对应的第一日志文件，其中，主进程用于处理针对主数据库的操作命令。当第一日志文件的大小超过预设值时，调用主进程对应的子进程，并生成第二日志文件。子进程可以根据主数据库的当前状态生成命令语句，并将命令语句存储在第二日志文件。也就是，当第一日志文件过大时，可以利用子进程处理主数据库的操作命令，并存储在新的日志文件中，以便减少日志文件的冗余内容。当后续从数据库同步主数据库的数据状态时，可以根据新的日志文件进行同步，从而减少同步的时间。间。间。

【技术实现步骤摘要】
一种日志文件的处理方法、装置、设备及介质


[0001]本申请涉及数据处理
，尤其涉及一种日志文件的处理方法、装置、设备及介质。

技术介绍

[0002]Mysql binlog是二进制格式的日志文件，binlog是用来记录Mysql内部对数据库进行改动的sql语句(只记录对数据的修改操作)，并以二进制的形式保存在磁盘中，主要用于数据库的主/从数据库的同步复制以及增量恢复。
[0003]目前binlog记录sql语句时采用append方式，会产生较多的冗余日志。比如针对数据库的更新操作：“update table set x＝1”、“update table set x＝0”以及“update table set x＝2”，在binlog中会记录三条日志。当从数据库同步主数据库的数据状态时，实际上对于从数据库来说，有效的sql命令只有最新的“update table set x＝2”，但是从数据库会同步binlog中的所有语句，导致binlog的冗余内容比较多，后续从数据库同步主数据库的时间比较长。并且冗余binlog存储时会占用较多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种日志文件的处理方法，其特征在于，所述方法包括：获取主数据库的主进程运行时对应的第一日志文件，所述主进程用于处理针对所述主数据库的操作命令；当所述第一日志文件的大小超过预设值时，调用所述主进程对应的子进程，并生成第二日志文件；利用所述子进程根据所述主数据库的当前状态生成命令语句，并将所述命令语句存储在所述第二日志文件。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述主进程处理针对所述主数据库的目标操作命令，将所述目标操作命令存储在日志文件缓冲区；在将所述命令语句存储在所述第二日志文件后获得第三日志文件，将所述日志文件缓冲区的目标操作命令添加至所述第三日志文件。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：响应于从数据库同步所述主数据库中数据的操作命令，将更新后的第三日志文件发送给所述从数据库，所述从数据库为所述主数据库的备份。4.根据权利要求2所述的方法，其特征在于，所述将所述目标操作命令存储在日志文件缓冲区，包括：创建列表list集合；将所述目标操作命令存储在所述list集合中。5.根据权利要求1所述的方法，其特征在于，所述调用所述主进程对应的子进程，包括：基...

【专利技术属性】
技术研发人员：赵岗，
申请(专利权)人：上海众源网络有限公司，
类型：发明
国别省市：