一种降低分布式数据库网路带宽占用的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种降低分布式数据库网路带宽占用的方法、装置、设备及存储介质，涉及分布式数据库技术领域，包括：配置日志压缩属性，并下发至分布式数据库集群中的所有数据节点；接收到数据库业务语句后，对其进行解析，并下发至主数据节点；主数据节点根据所述数据库业务语句进行数据处理，并产生数据库日志；主数据节点根据所述日志压缩属性对所述数据库日志进行压缩，并传输至备数据节点；备数据节点根据所述日志压缩属性对所述数据库日志进行解压。本发明专利技术通过增加独立线程对日志进行压缩，使其在网络传输，降低日志同步的带宽占用，并且，可以设定具体哪些业务在哪些时间段日志进行压缩传输，不影响其他业务性能。不影响其他业务性能。不影响其他业务性能。

【技术实现步骤摘要】
一种降低分布式数据库网路带宽占用的方法、装置、设备及存储介质


[0001]本专利技术涉及分布式数据库
，特别是涉及一种降低分布式数据库网路带宽占用的方法、装置、设备及存储介质。

技术介绍

[0002]系统中某些业务在数据上场阶段数据量巨大，系统需要支撑每秒千万行写的压力，数据节点主备复制的日志同步量很大，对分布式数据库中同城及异地带宽压力巨大，同城及异地网络流量可达万Mbps，而系统中同时还存在其他业务，基于此，需要在对特定业务降低带宽的同时，要求对其他在线业务性能影响小。

技术实现思路

[0003]本专利技术所要解决的技术问题是，克服现有技术的缺点，提供一种降低分布式数据库网路带宽占用的方法、装置、设备及存储介质。
[0004]为了解决以上技术问题，本专利技术的技术方案如下：本专利技术提供了一种降低分布式数据库网路带宽占用的方法，包括：配置日志压缩属性，并下发至分布式数据库集群中的所有数据节点；接收到数据库业务语句后，对其进行解析，并下发至主数据节点；主数据节点根据所述数据库业务语句进行数据处理，并产生数据库日志本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种降低分布式数据库网路带宽占用的方法，其特征在于：包括：配置日志压缩属性，并下发至分布式数据库集群中的所有数据节点；接收到数据库业务语句后，对其进行解析，并下发至主数据节点；主数据节点根据所述数据库业务语句进行数据处理，并产生数据库日志；主数据节点根据所述日志压缩属性对所述数据库日志进行压缩，并传输至备数据节点；备数据节点根据所述日志压缩属性对所述数据库日志进行解压。2.根据权利要求1所述的降低分布式数据库网路带宽占用的方法，其特征在于：所述日志压缩属性包括：压缩业务、压缩时间段以及压缩方法。3.根据权利要求2所述的降低分布式数据库网路带宽占用的方法，其特征在于：所述主数据节点根据所述日志压缩属性对数据库日志进行压缩包括：根据压缩业务判断数据库日志是否压缩，若否则结束，若是则进行下一步骤；获取压缩时间段和压缩方法；在压缩时间段内采用相应的压缩方法对数据库日志进行压缩。4.根据权利要求1所述的降低分布式数据库网路带宽占用的方法，其特征在于：所述传输至备数据节点包括：将压缩后的数据库日志通过网络传输至备数据节点。5.根据权利要求2所述的降低分布式数据库网路带宽占用的方法，其特征在于：所述压缩方法包括zstd压缩...

【专利技术属性】
技术研发人员：吴昊，
申请(专利权)人：金篆信科有限责任公司，
类型：发明
国别省市：