一种数据管理方法、装置、服务器及存储介质制造方法及图纸

技术编号:46619326 阅读:2 留言:0更新日期:2025-10-14 21:14
本申请公开了一种数据管理方法、装置、服务器及存储介质,涉及数据存储技术领域。能够保证日志记录重放以及数据页面重写的效率,从而提升分离数据管理系统的读写性能以及存储性能。该方法包括:存储节点接收来自该计算节点的待处理事务;该待处理事务包括目标标识信息,该目标标识信息用于标识目标数据页面;该存储节点查询该第一层SST得到与该目标标识信息对应的目标日志记录;该存储节点基于该目标日志记录生成该目标数据页面;该存储节点向该计算节点发送该目标数据页面。

【技术实现步骤摘要】

本申请涉及数据存储,尤其涉及一种数据管理方法、装置、服务器及存储介质


技术介绍

1、在存算分离数据库系统中,开发人员可以通过操作存储节点以及计算节点的资源来扩展存算分离数据库系统的规模。具体的,计算节点可以对用户数据进行相关操作(例如更新),并将操作后的数据存储到存储节点,存储节点可以对用户数据进行持久化,计算节点可以从存储节点读写数据实现某种操作。

2、但是,现有存算分离数据库系统中,计算节点与存储节点之间存在较大的通信开销,会影响存算分离数据库系统的存储性能,从而造成数据读写性能的下降。


技术实现思路

1、本申请提供一种数据管理方法、装置、服务器及存储介质,解决了相关技术中计算节点与存储节点之间存在较大的通信开销,造成数据读写性能下降的技术问题。

2、第一方面,提供一种数据管理方法,应用于分离数据管理系统,该分离数据管理系统包括计算节点和存储节点,该存储节点包括日志存储空间,该日志存储空间包括第一层sst,该第一层sst包括以键值形式存储的日志记录,该日志记录的键至少用于指示该日本文档来自技高网...

【技术保护点】

1.一种数据管理方法,其特征在于,应用于分离数据管理系统,所述分离数据管理系统包括计算节点和存储节点,所述存储节点包括日志存储空间,所述日志存储空间包括第一层排序字符串表SST,第一层SST包括以键值形式存储的日志记录,所述日志记录的键至少用于指示所述日志记录对应的数据页面;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述目标标识信息包括所述目标数据页面的页面标识以及所述目标数据页面所在的目标数据表的空间标识,所述日志记录的键至少包括空间标识以及页面标识。

3.根据权利要求2所述的方法,其特征在于,所述第一层SST包括至少一个SST,具有相同空间标识...

【技术特征摘要】

1.一种数据管理方法,其特征在于,应用于分离数据管理系统,所述分离数据管理系统包括计算节点和存储节点,所述存储节点包括日志存储空间,所述日志存储空间包括第一层排序字符串表sst,第一层sst包括以键值形式存储的日志记录,所述日志记录的键至少用于指示所述日志记录对应的数据页面;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述目标标识信息包括所述目标数据页面的页面标识以及所述目标数据页面所在的目标数据表的空间标识,所述日志记录的键至少包括空间标识以及页面标识。

3.根据权利要求2所述的方法,其特征在于,所述第一层sst包括至少一个sst,具有相同空间标识以及页面标识的日志记录被存储在所述第一层sst的同一个sst中,所述第一层sst中不同的sst包括的日志记录的键是不重叠的。

4.根据权利要求2或3所述的方法,其特征在于,所述日志记录的键还包括用户键和序列号,所述存储节点查询所述第一层sst得到与所述目标标识信息对应的目标日志记录,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述日志记录的键中包括的用户键和序列号,确定所述目标日志记录在所述第一层sst中的排列顺序,包括:

6.根据权利要求4或5所述的方法,其特征在于,在所述第一层sst中空间标识、页面标识以及用户键均相同的日志记录中,序列号小的日志记录位于序列号大的日志记录之前。

7.根据权利要求1-6中任一项所述的方法,其特征在于,所述日志存储空间还包括内存表和第二层sst;所述方法还包括:

8.根据权利要求1-7中任一项所述的方法,其特征在于,所述第一层sst包括至少一个sst,一个sst包括至少一个数据块,一个数据块对应一个布隆过滤器;所述查询所述第一层sst得到与所述目标标识信息对应的目标日志记录,包括:

9.根据权利要求7或8所述的方法,其特征在于,对应同一数据页面的日志记录存储在所述第一层sst的同一个sst中,对应不同数据页面的日志记录存储在所述第一层sst的不同sst中,所述目标日志记录包括在所述第一层sst的n个sst中,所述n的取值是基于摄取数值、检索数值以及消耗数值确定得到的,所述摄取数值用于表征所述存储节点从第一时间区间到第二时间区间摄取的dsst的增长速率,所述检索数值用于表征所述存储节点在所述第二时间区间内检索日志记录和数据页面的增长速率,所述消耗数值用于表征所述存储节点从所述第一时间区间到所述第二时间区间读取日志记录和数据页面的消耗情况,所述第一时间区间位于所述第二时间区间之前。

10.根据权利要求9所述的方法,其特征在于,所述检索数值是基于第一数量、第二数量、第三数量以及第四数量确定得到,所述第一数量为所述存储节点在第一时刻检索日志记录的数量,所述第二数量为所述存储节点在所述第一时刻检索数据页面的数量,所述第三数量为所述存储节点在所述第二时刻检索日志记录的数量,所述第四数量为所述存储节点在所述第二时刻检索数据页面的数量,所述第一时刻为所述第二时间区间的开始时刻,所述第二时刻为所述第二时间区间的结束时刻。

11.根据权利要求1-10中任一项所述的方法,其特征在于,所述待处理事务包括第一事务和第二事务,所述第一事务包括数据读取请求,所述第二事务包括日志记录写入请求,所述数据读取请求用于请求在所述第一事务对应的获取时刻获取目标用户键的目标数值,所述日志记录写入请求用于请求更新所述目标用户键的第一数值,所述第一数值为所述目标用户键在初始时刻的数值,所述初始时刻位于所述第一事务对应的开始时刻之前;所述方法还包括:

12.根据权利要求11所述的方法,其特征在于,所述方法还包括:

13.根据权利要求1-12中任一项所述的方法,其特征在于,所述方法还包括:

14.一种数据管理装置,其特征在于,应用于分离数据管理系统,所述分离数据管理系统包括计算节点和存储节点,所述存储节点包括日志存储空间,所述日...

【专利技术属性】
技术研发人员:黄克成史玉玲陈仁海姚信张弓任仁
申请(专利权)人:成都华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1