一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：获取数据库主节点的重做日志文件；对主节点的重做日志文件进行解析处理，以得到日志数据及其对应的标识信息，将日志数据存储至物理事务，并将物理事务写入本地重做日志文件；根据标识信息从本地重做日志文件中获取物理事务对应的物理数据页，并根据物理数据页执行相应的数据处理。该实施方式显著降低了数据库主从节点的数据同步延时状况和数据同步成本、提升了数据同步的可拓展性和数据库的系统性能。升了数据同步的可拓展性和数据库的系统性能。升了数据同步的可拓展性和数据库的系统性能。

【技术实现步骤摘要】
一种数据处理方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法和装置。

技术介绍

[0002]关系型数据库(如MySQL)的主从模块式下：通过一个主节点对应一个或多个从节点，让主节点负责写，从节点负责读，能够解决单点负载瓶颈，即使出现主节点锁表、宕机等情形，通过读从节点也可以保证业务的正常运作。要实现上述情形，需要保证数据库的主节点与从节点之间实现数据同步。
[0003]现有方法中主要通过二进制日志(binary log，简称binlog，主节点服务器在事务提交后，将产生的binlog文件发送给从节点服务器，从节点服务器接收到binlog后，将主节点生成的逻辑日志应用到自己的数据库系统中，从而实现主从数据同步的功能)、以及redolog(重做日志技术，记录了对实际数据文件的物理变更(数据文件的什么位置数据做了如何的变更)，只有当redolog存储到从节点的磁盘后，才会将实际的物理数据页修改存储到磁盘，从而实现主从数据同步)。
[0004]现有技术中至少存在如下问题：
[0005]现有的业务处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取数据库主节点的重做日志文件；对所述主节点的重做日志文件进行解析处理，以得到日志数据及其对应的标识信息，将所述日志数据存储至物理事务，并将所述物理事务写入本地重做日志文件；根据所述标识信息从所述本地重做日志文件中获取所述物理事务对应的物理数据页，并根据所述物理数据页执行相应的数据处理。2.根据权利要求1所述的数据处理方法，其特征在于，所述获取数据库主节点的重做日志文件，还包括：确定所述数据库的主节点与从节点对应的初始一致位点，获取所述初始一致位点对应的日志序号之后的重做日志文件，并将所述重做日志文件存储至从节点对应的缓存中。3.根据权利要求2所述的数据处理方法，其特征在于，所述对所述主节点的重做日志文件进行解析处理，以得到日志数据及其对应的标识信息，将所述日志数据存储至物理事务，并将所述物理事务写入本地重做日志文件，还包括：遍历并获取所述缓存中的重做日志文件，根据日志类型对所述重做日志文件进行分类解析处理，提取标识信息和日志数据，将所述日志数据存储至物理事务，并将所述物理事务写入本地重做日志文件；其中，所述标识信息包括表空间编号和数据页编号。4.根据权利要求3所述的数据处理方法，其特征在于，将所述日志数据存储至物理事务，并将所述物理事务写入本地重做日志文件，还包括：将所述日志数据存储至物理事务，确定单日志类型对应的物理事务和多日志类型对应的物理事务；根据固定日志数据长度为所述单日志类型对应的物理事务分配日志序号，根据实际日志数据长度为所述多日志类型对应的物理事务分配日志序号；根据所述物理事务对应的日志序号，将所述日志数据写入本地重做日志文件。5.根据权利要求...

【专利技术属性】
技术研发人员：袁博文，彭安，刘珊，孟可，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：