数据库系统、数据处理方法及设备技术方案

技术编号:32850478 阅读:12 留言:0更新日期:2022-03-30 19:04
本发明专利技术实施例公开了一种数据库系统、数据处理方法及设备,数据库系统包括主数据库节点、存储层以及至少一个从数据库节点;主数据库节点,用于接收客户端发送的写入信息,写入信息用于对主数据库节点存储的目标数据进行操作;获取第一指令信息,根据第一指令信息开启或关闭写入信息对应的逻辑日志的生成;将被操作的目标数据写入存储层;至少一个从数据库节点,用于从存储层中获取目标数据。通过主数据库节点将目标数据存储在存储层,降低数据库内部操作对逻辑日志的依赖,实现计算和存储的分离,同时通过主数据库节点实现主数据库节点可以根据需要开启或关闭逻辑日志生成功能,提高了数据存储和传输效率,满足用户多种数据库功能需求。功能需求。功能需求。

【技术实现步骤摘要】
数据库系统、数据处理方法及设备


[0001]本申请涉及计算机
,尤其涉及一种数据库系统、数据处理方法及设备。

技术介绍

[0002]目前,随着技术的进步,网络速度越来越快,数据量越来越大,相应地,对数据库的性能要求也越来也高。
[0003]主-从结构的分布式系统是一种提供系统可用性的架构方式,在分布式系统中,包括多个数据库服务器,即数据库节点,其中,主数据库对应的主数据库节点用于接受来自用户的数据更新,从数据库对应的从数据库节点用于备份数据。现有技术中,从数据库节点与主数据库节点的数据同步,是通过主数据库节点生成逻辑日志,从数据库节点复制该逻辑日志的方式实现的。
[0004]然而,由于逻辑日志的生成依赖主数据库节点的处理能力,因此,通过逻辑日志实现主、从数据库的数据同步,会导致主数据库节点的负载较大,影响数据存储和数据同步效率。

技术实现思路

[0005]本申请提供一种数据库系统、数据处理方法及设备,以解决主数据库节点的负载较大,影响数据存储和数据同步效率的问题。
[0006]第一方面,本申请提供一种数据库系统,所述数据库系统包括主数据库节点、存储层以及至少一个从数据库节点;所述主数据库节点,用于接收客户端发送的写入信息,所述写入信息用于对所述主数据库节点存储的目标数据进行操作;获取第一指令信息,根据所述第一指令信息开启或关闭所述写入信息对应的逻辑日志的生成;将被操作的所述目标数据写入所述存储层;所述至少一个从数据库节点,用于从所述存储层中获取所述目标数据。
[0007]本申请中,通过主数据库节点将目标数据存储在存储层,降低数据库内部操作对逻辑日志的依赖,实现计算和存储的分离,同时通过主数据库节点实现主数据库节点可以根据需要开启或关闭逻辑日志生成功能,数据库系统在不需要逻辑日志时,通过关闭主数据库节点的逻辑日志的生成功能,从而使数据库系统中的从数据库节点不需要再从主数据库节点获取逻辑日志,而是直接从存储层获取目标数据,主数据库节点也不需要再生成和存储逻辑日志,降低了主数据库节点的计算和存储资源消耗,提高了数据存储和传输效率;在数据库系统需要逻辑日志时,通过开启主数据库节点的逻辑日志的生成功能,从而使数据库系统可以实现特定的功能,避免数据库功能缺失。
[0008]在一种可能的实现方式中,所述第一指令信息是所述客户端发送的,或者,所述第一指令信息是根据逻辑日志状态信息生成的,其中,所述逻辑日志状态信息用于表征所述逻辑日志的读写记录。
[0009]本申请中,第一指令信息可以由用户通过客户端输入,以满足用户在不同应用场景下的需求;也可以由主数据库节点根据逻辑日志状态信息自动生成,提高数据库系统的
自动化程度,提高数据库系统的管理效率和效果。
[0010]在一种可能的实现方式中,所述第一指令信息包括以下至少一种:数据库命令、控制面板开关指令、配置信息。
[0011]在一种可能的实现方式中,所述主数据库节点还用于:根据所述逻辑日志状态信息,获取所述逻辑日志在预设时长阈值内的读写记录;若所述读写记录的次数小于预设次数阈值,则生成所述第一指令信息,其中,所述第一指令信息用于关闭所述逻辑日志的生成。
[0012]本申请中,通过获取逻辑日志状态信息,并根据逻辑日志状态信息确定逻辑日志的使用频率,在逻辑日志状态信息的使用频率较低时,将逻辑日志的生成功能设置为关闭状态,以提高系统的整体工作效率,降低系统综合成本。
[0013]在一种可能的实现方式中,所述主数据库节点还用于:若监测到第二指令信息,且所述逻辑日志的生成处于关闭状态,则生成所述第一指令信息,其中,所述第一指令用于开启所述逻辑日志的生成,所述第二指令信息用于访问所述逻辑日志。
[0014]本申请中,通过在监测到需要使用逻辑日志的第二指令信息,且所述逻辑日志的生成功能处于关闭状态时,则将所述逻辑日志的生成功能自动设置为开启状态,避免由于主数据库节点内没有逻辑日志而导致的第二指令信息对应的操作失败,提高用户指令的执行效率。
[0015]在一种可能的实现方式中,主数据库节点还用于:将所述逻辑日志写入所述主数据库节点本地,或者,将所述逻辑日志写入所述存储层。
[0016]在一种可能的实现方式中,所述主数据库节点在将所述逻辑日志写入所述存储层时,具体用于:将所述目标数据在所述存储层内持久化为数据文件,或,将所述目标数据在所述存储层内写入事务日志。
[0017]第二方面,本申请提供一种数据处理方法,应用于数据库系统,所述数据库系统包括主数据库节点、存储层以及至少一个从数据库节点,所述方法包括:
[0018]所述主数据库节点接收客户端发送的写入信息,所述写入信息用于对所述主数据库节点存储的目标数据进行操作;所述主数据库节点获取第一指令信息,根据所述第一指令信息开启或关闭所述写入信息对应的逻辑日志的生成;所述主数据库节点将被操作的所述目标数据写入所述存储层;所述至少一个从数据库节点,从所述存储层中获取所述目标数据。
[0019]在一种可能的实现方式中,所述第一指令信息是所述客户端发送的,或者,所述第一指令信息是根据逻辑日志状态信息生成的,其中,所述逻辑日志状态信息用于表征所述逻辑日志的读写记录。
[0020]在一种可能的实现方式中,所述第一指令信息包括以下至少一种:数据库命令、控制面板开关指令、配置信息。
[0021]在一种可能的实现方式中,所述方法还包括:所述主数据库节点根据所述逻辑日志状态信息,获取所述逻辑日志在预设时长阈值内的读写记录;若所述读写记录的次数小于预设次数阈值,则所述主数据库节点生成所述第一指令信息,其中,所述第一指令信息用于关闭所述逻辑日志的生成。
[0022]在一种可能的实现方式中,所述方法还包括:若所述主数据库节点监测到第二指
令信息,且所述逻辑日志的生成处于关闭状态,则所述主数据库节点生成所述第一指令信息,其中,所述第一指令用于开启所述逻辑日志的生成,所述第二指令信息用于访问所述逻辑日志。
[0023]在一种可能的实现方式中,所述方法还包括:所述主数据库节点将所述逻辑日志写入所述主数据库节点本地,或者,将所述逻辑日志写入所述存储层。
[0024]在一种可能的实现方式中,所述主数据库节点在将所述逻辑日志写入所述存储层时,具体用于:将所述目标数据在所述存储层内持久化为数据文件,或,将所述目标数据在所述存储层内写入事务日志。
[0025]第三方面,本申请提供了一种电子设备,包括:存储器,处理器以及计算机程序;其中,所述计算机程序存储在所述存储器中,并被配置为由所述处理器执行以实现以上第二方面的任一实现方式提供的数据处理方法。
[0026]第四方面,本申请实施例提供一种电子设备,包括处理器,处理器用于执行计算机程序,以执行以上第二方面的任一实现方式提供的方法;网络装置还包括通信接口;处理器与通信接口连接。
[0027]第五方面,本申请实施例提供一种计算机可读存储介质,包括计算机代码,当本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据库系统,其特征在于,所述数据库系统包括主数据库节点、存储层以及至少一个从数据库节点;所述主数据库节点,用于接收客户端发送的写入信息,所述写入信息用于对所述主数据库节点存储的目标数据进行操作;获取第一指令信息,根据所述第一指令信息开启或关闭所述写入信息对应的逻辑日志的生成;将被操作的所述目标数据写入所述存储层;所述至少一个从数据库节点,用于从所述存储层中获取所述目标数据。2.根据权利要求1所述的系统,其特征在于,所述第一指令信息是所述客户端发送的,或者,所述第一指令信息是根据逻辑日志状态信息生成的,其中,所述逻辑日志状态信息用于表征所述逻辑日志的读写记录。3.根据权利要求2所述的系统,其特征在于,所述第一指令信息包括以下至少一种:数据库命令、控制面板开关指令、配置信息。4.根据权利要求2所述的系统,其特征在于,所述主数据库节点还用于:根据所述逻辑日志状态信息,获取所述逻辑日志在预设时长阈值内的读写记录;若所述读写记录的次数小于预设次数阈值,则生成所述第一指令信息,其中,所述第一指令信息用于关闭所述逻辑日志的生成。5.根据权利要求2所述的系统,其特征在于,所述主数据库节点还用于:若监测到第二指令信息,且所述逻辑日志的生成处于关闭状态,则生成所述第一指令信息,其中,所述第一指令用于开启所述逻辑日志的生成,所述第二指令信息用于访问所述逻辑日志。6.根据权利要求1所述的系统,其特征在于,所述主数据库节点还用于:将所述逻辑日志写入所述主数据库节点本地,或者,将所述逻辑日志写入所述存储层。7.根据权利要求6所述的系统,其特征在于,所述主数据库节点在将所述逻辑日志写入所述存储层时,具体用于:将所述目标数据在所述存储层内持久化为数据文件,或,将所述目标数据在所述存储层内写入事务日志。8.一种数据处理方法,其特征在于,应用于数据库系统,所述数据库系统包括主数据库节点、存储层以及至少一个从数据库节点,所述方法包括:所述主数据库节点接收客户端发送的写入信息,所述写入信息用于对所述主数据库节点存储的目标数据进行操作;所述主...

【专利技术属性】
技术研发人员:林科旭张程伟黄飞腾
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1