数据处理方法及装置制造方法及图纸

本申请公开了一种数据处理方法及装置，该方法包括：获得目标事务日志；在重放区域中对目标事务日志进行重放处理，获得目标数据，重放区域用于存储对事务日志进行重放处理后得到的数据。通过使用该方法，可避免在共享缓冲区中生成大量不被查询的、且占用共享缓冲区的存储空间的数据页，提高数据库服务器的查询性能；并且，在重放区域对事务日志进行重放处理，使得共享缓冲区中的进程减少，降低对数据库服务器的性能影响。

【技术实现步骤摘要】
数据处理方法及装置
本申请涉及计算机
，具体涉及数据处理方法。本申请同时涉及数据处理装置以及电子设备。
技术介绍
数据库集群服务需要考虑高可用和高性能，为了确保高可用，数据库集群大多采用一主多从架构。在一主多从的架构下，从数据库服务器要跟主数据库服务器保持数据同步。现有的数据同步方式一般通过物理复制完成，即，从数据库服务器通过共享缓冲区重放主数据库服务器的事务日志来保持数据同步。然而，现有的主、从数据库服务器的物理复制方法存在以下不足：在共享缓冲区中对事务日志进行重放处理，可在共享缓冲区中生成大量不被查询的数据页，占用共享缓冲区的存储空间，然而，共享缓冲区的空间是有限的，在共享缓冲区的存储空间达到下限时，需要多次执行数据页淘汰算法，并需要多次将数据页刷出到磁盘，会影响数据库服务器的查询性能；并且，由于数据库服务器运行时需要的隔离性和MVCC一致性，因此，在共享缓冲区中响应数据查询和对事务日志进行重放处理时需要加各种不同类型的锁，响应数据查询和对事务日志进行重放处理的进程越多，对数据库服务器的性能影响就会越大。...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获得目标事务日志；/n在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获得目标事务日志；
在重放区域中对所述目标事务日志进行重放处理，获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据。


2.根据权利要求1所述的方法，其特征在于，所述目标事务日志记录有数据处理信息；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：
获得所述重放区域中的页面；
基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据。


3.根据权利要求2所述的方法，其特征在于，所述基于所述页面，按照所述数据处理信息进行数据处理，获得所述目标数据，包括：在所述页面上按照所述数据处理信息进行数据处理，生成目标数据页。


4.根据权利要求1所述的方法，其特征在于，所述目标事务日志记录有数据处理信息；
所述方法还包括：判断共享缓冲区中是否存储有所述数据处理信息对应的数据；
所述在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据。


5.根据权利要求4所述的方法，其特征在于，所述判断共享缓冲区中是否存储有所述数据处理信息对应的数据，包括：判断所述共享缓冲区中是否存储有所述数据处理信息对应的数据页；
所述如果所述共享缓冲区中未存储有所述数据处理信息对应的数据，则在重放区域中对所述目标事务日志进行重放处理，获得目标数据，包括：如果所述共享缓冲区中未存储有所述数据处理信息对应的数据页，则在重放区域中对所述目标事务日志进行重放处理，生成目标数据页。


6.根据权利要求3或5所述的方法，其特征在于，还包括：采用脏标记将所述目标数据页标记为脏页。


7.根据权利要求6所述的方法，其特征在于，针对所述重放区域设置有与共享缓冲区相同的脏页刷出条件，所述采用脏标记将所述目标数据页标记为脏页之后，还包括：
当所述目标数据页满足所述脏页刷出条件时，将所述目标数据页刷出到磁盘中。


8.根据权利要求1所述的方法，其特征在于，还包括：将所述目标数据存储至重放区域中。


9.根据权利要求1所述的方法，其特征在于，还包括：
从所述重放区域中获得所述目标数据；
将所述目标数据存储至共享缓冲区中。


10.根据权利要求1所述的方法，其特征在于，所述目标事务日志记录有针对主数据库服务器的数据处理信息；
所述重放区域为从数据库服务器中的重放区域。


11.根据权利要求2-5、10中任意一项所述的方法，其特征在于，所述数据处理信息包括如下信息中的至少一种：
数据页的初始化信息；
数据页的添加信息；
数据页的删除信息；
数据页的修复信息。


12.根据权利要求1-5、10中任意一项所述的方法，其特征在于，所述目标事务日志为预写式日志。


13.一种数据处理方法，其特征在于，包括：
从重放区域中获得目标数据，所述重放区域用于存储对事务日志进行重放处理后得到的数据；
将所述目标数据存储到共享缓冲区。


14.根据权利要求13所述的方法，其特征在于，所述从重放区域中获得目标数据，包括：
获得针对目标数据的查询请求；
根据针对目标数据的查询请求，从重放区域中获得目标数据。


15.根据权利要求14所述的方法，其特征在于，所述根据针对目标数据的查询请求，从重放区域中获得目标数据，包括：
根据针对目标数据的查询请求，判断所述共享缓冲区中是否缺失存储有所述目标数据的目标数据页；
如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据。


16.根据权利要求15所述的方法，其特征在于，所述如果所述共享缓冲区中缺失所述目标数据页，则从所述重放区域中获得所述目标数据，包括：
如果所述共享缓冲区中缺失所述目标数据页，则触发磁盘对所述目标数据页的读操作，获得针对所述目标数据页的查询信息；
根据所述查询信息，对所述重放区域进行查询，获得所述目标数据页。


17.根据权利要求16所述的方法，其特征在于，所述重放区域包括用于进行数据页查询的哈希表，所述根据所述查询信息，对所...

【专利技术属性】
技术研发人员：贺广南，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY