【技术实现步骤摘要】
本申请涉及云计算与大数据,具体涉及一种数据处理方法、装置及电子设备。
技术介绍
1、mysql是一个轻量级的关系型数据库,被广泛应用。针对mysql,在高并发业务系统中,如果业务数据的读写都在主库上,将对主库的性能和处理能力造成巨大开销。因此,可以对业务数据流做读写分离,有关写入的流量数据由主库(master库)处理,而从库(slave库)分担读取的功能。在此情况下,当业务系统的读写分摊到主从库时,为了保证主从数据库中数据的一致性,需要提交事务,mysql需要将事务日志bin-log的提交标记写入重做日志redo-log数据文件。
2、然而,数据库中的存储引擎提交事务的速度受默认的参数配置的影响(如innodb_flush_log_at_trx_commit、sync_binlog等),每提交一次事务就会调用同步函数fsync操作一次磁盘,当mysql数据库的并发量较大时,这些默认的配置参数将会影响磁盘io写入性能,进而影响事务写入速度,可能会导致主库写入数据在从库查询不到或查询超时的情况,造成主从库的数据同步发生延迟,降低
...【技术保护点】
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述在判定所述磁盘的写压力较大的情况下,计算刷盘机制的改写值,对数据库的日志刷盘机制进行改写,包括:
3.根据权利要求2所述的方法,其特征在于,基于所述改写值对事务日志的刷盘机制进行改写,包括:
4.根据权利要求3所述的方法,其特征在于,基于所述改写值对重做日志的刷盘机制进行改写,包括:
5.根据权利要求1所述的方法,其特征在于,通过所述磁盘压力参数判断磁盘的读写压力,包括:
6.根据权利要求5所述的方法,其特征在于,所述采集
...【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述在判定所述磁盘的写压力较大的情况下,计算刷盘机制的改写值,对数据库的日志刷盘机制进行改写,包括:
3.根据权利要求2所述的方法,其特征在于,基于所述改写值对事务日志的刷盘机制进行改写,包括:
4.根据权利要求3所述的方法,其特征在于,基于所述改写值对重做日志的刷盘机制进行改写,包括:
5.根据权利要求1所述的方法,其特征在于,通过所述磁盘压力参数判断磁盘的读写压力,包括:
6.根据权利要求5所述的方法,其特征在于...
【专利技术属性】
技术研发人员:邓娟,
申请(专利权)人:中国移动通信集团贵州有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。