数据处理方法、装置及电子设备制造方法及图纸

技术编号:43062723 阅读:19 留言:0更新日期:2024-10-22 14:41
本申请公开了一种数据处理方法、装置及电子设备,涉及云计算与大数据技术领域。方法包括:采集系统资源信息和数据库性能指标;通过系统资源信息和数据库性能指标,检测从数据库与主数据库之间是否存在同步延迟;在存在同步延迟的情况下,采集磁盘压力参数,并通过磁盘压力参数判断磁盘的读写压力;在判定磁盘的写压力较大的情况下,计算刷盘机制的改写值,对数据库的日志刷盘机制进行改写。与相关技术方案中,主从数据同步延迟大时通过人工介入的方式相比,本申请通过计算最优刷盘机制的改写值,并基于改写值对数据库的日志刷盘机制进行改写,从而提高数据写入磁盘的效率,解决主从数据库同步时会存在延迟导致磁盘写入效率降低的问题。

【技术实现步骤摘要】

本申请涉及云计算与大数据,具体涉及一种数据处理方法、装置及电子设备


技术介绍

1、mysql是一个轻量级的关系型数据库,被广泛应用。针对mysql,在高并发业务系统中,如果业务数据的读写都在主库上,将对主库的性能和处理能力造成巨大开销。因此,可以对业务数据流做读写分离,有关写入的流量数据由主库(master库)处理,而从库(slave库)分担读取的功能。在此情况下,当业务系统的读写分摊到主从库时,为了保证主从数据库中数据的一致性,需要提交事务,mysql需要将事务日志bin-log的提交标记写入重做日志redo-log数据文件。

2、然而,数据库中的存储引擎提交事务的速度受默认的参数配置的影响(如innodb_flush_log_at_trx_commit、sync_binlog等),每提交一次事务就会调用同步函数fsync操作一次磁盘,当mysql数据库的并发量较大时,这些默认的配置参数将会影响磁盘io写入性能,进而影响事务写入速度,可能会导致主库写入数据在从库查询不到或查询超时的情况,造成主从库的数据同步发生延迟,降低磁盘写入效率的问题。本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在判定所述磁盘的写压力较大的情况下,计算刷盘机制的改写值,对数据库的日志刷盘机制进行改写,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述改写值对事务日志的刷盘机制进行改写,包括:

4.根据权利要求3所述的方法,其特征在于,基于所述改写值对重做日志的刷盘机制进行改写,包括:

5.根据权利要求1所述的方法,其特征在于,通过所述磁盘压力参数判断磁盘的读写压力,包括:

6.根据权利要求5所述的方法,其特征在于,所述采集磁盘压力参数,包括:...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述在判定所述磁盘的写压力较大的情况下,计算刷盘机制的改写值,对数据库的日志刷盘机制进行改写,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述改写值对事务日志的刷盘机制进行改写,包括:

4.根据权利要求3所述的方法,其特征在于,基于所述改写值对重做日志的刷盘机制进行改写,包括:

5.根据权利要求1所述的方法,其特征在于,通过所述磁盘压力参数判断磁盘的读写压力,包括:

6.根据权利要求5所述的方法,其特征在于...

【专利技术属性】
技术研发人员:邓娟
申请(专利权)人:中国移动通信集团贵州有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1