System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种日志生成方法、装置、电子设备及存储介质制造方法及图纸_技高网

一种日志生成方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40980424 阅读:2 留言:0更新日期:2024-04-18 21:26
本发明专利技术公开了一种日志生成方法、装置、电子设备及存储介质。该方法包括:确定插入数据的列长度信息,列长度信息指示插入数据中变长数据类型所对应数据的数据长度;确定插入数据的物理记录偏移信息,物理记录偏移信息指示插入数据在重做日志中的偏移位置;将列长度信息和物理记录偏移信息分别存储至待填充逻辑日志的数据字段,生成逻辑日志。上述技术方案中,通过将列长度信息和物理记录偏移信息保存至逻辑日志中,不再保存插入数据,生成了简化的逻辑日志,消除了逻辑日志和重做日志中等价信息的重复,缩小了日志文件大小,降低了系统的IO负载;同时生成逻辑日志时不需要处理插入数据,提高了批量插入的执行速度,提升了数据库系统的整体性能。

【技术实现步骤摘要】

本专利技术实施例涉及数据库,尤其涉及一种日志生成方法、装置、电子设备及存储介质


技术介绍

1、对于数据库系统来说,逻辑日志和重做日志都是至关重要的。逻辑日志可以记录事务中的插入、更新、删除或ddl操作,数据库系统可以利用逻辑日志进行数据复制、数据同步迁移、数据备份恢复、数据审计等操作。重做日志是数据库系统运行的基础,在系统故障、宕机重启时,使用重做日志可以恢复数据,保证数据的持久性和完整性。

2、现有的数据库系统,逻辑日志和重做日志都是单独生成的。例如当执行数据插入语句时,系统会生成一条逻辑日志和一条重做日志。通过解析逻辑日志可以反拼出执行的数据插入语句。而重做日志记录的是该插入语句针对数据页的修改内容,通过重做日志可以得到该条插入语句成功执行后在数据页中保存的数据。在插入操作很频繁、插入数据量很大的情况下,数据库系统会生成大量逻辑日志和重做日志,系统io负载较高,同时生成日志的操作也会对sql语句执行速度有一定的影响。


技术实现思路

1、本专利技术提供了一种日志生成方法、装置、电子设备及存储介质,以缩小日志文件大小,提升数据库系统的运行性能。

2、第一方面,本专利技术实施例提供了一种日志生成方法,包括:

3、确定插入数据的列长度信息,所述列长度信息指示所述插入数据中变长数据类型所对应数据的数据长度;

4、确定插入数据的物理记录偏移信息,所述物理记录偏移信息指示所述插入数据在重做日志中的偏移位置;

5、将所述列长度信息和所述物理记录偏移信息分别存储至待填充逻辑日志的数据字段,生成逻辑日志。

6、第二方面,本专利技术实施例提供了一种日志生成装置,包括:

7、长度信息确定模块,用于确定插入数据的列长度信息,所述列长度信息指示所述插入数据中变长数据类型所对应数据的数据长度;

8、偏移信息确定模块,用于确定插入数据的物理记录偏移信息,所述物理记录偏移信息指示所述插入数据在重做日志中的偏移位置;

9、日志生成模块,用于将所述列长度信息和所述物理记录偏移信息分别存储至待填充逻辑日志的数据字段,生成逻辑日志。

10、第三方面,本专利技术实施例提供了一种电子设备,包括:

11、至少一个处理器;以及

12、与所述至少一个处理器通信连接的存储器;其中,

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行如第一方面所述的日志生成方法。

14、第四方面,本专利技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现如第一方面所述的日志生成方法。

15、本专利技术实施例提供了一种日志生成方法、装置、电子设备及存储介质。该方法包括:确定插入数据的列长度信息,列长度信息指示插入数据中变长数据类型所对应数据的数据长度;确定插入数据的物理记录偏移信息,物理记录偏移信息指示插入数据在重做日志中的偏移位置;将列长度信息和物理记录偏移信息分别存储至待填充逻辑日志的数据字段,生成逻辑日志。上述技术方案中,通过将列长度信息和物理记录偏移信息保存至逻辑日志中,不再保存插入数据,生成了简化的逻辑日志,消除了逻辑日志和重做日志中等价信息的重复,缩小了日志文件大小,降低了系统的io负载;同时生成逻辑日志时不需要处理插入数据,提高了批量插入的执行速度,提升了数据库系统的整体性能。

16、应当理解,本部分所描述的内容并非旨在标识本专利技术实施例的关键或重要特征,也不用于限制本专利技术的范围。本专利技术的其他特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种日志生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述存储顺序及所述数据长度,解析所述物理记录,得到解析后数据,包括:

4.根据权利要求2所述的方法,其特征在于,根据所述数据类型及所述解析后数据,确定插入数据,包括:

5.根据权利要求2所述的方法,其特征在于,在所述根据插入数据在所述逻辑日志中的物理记录偏移信息,从重做日志中获取所述物理记录偏移信息所对应的物理记录之前,还包括:

6.根据权利要求2所述的方法,其特征在于,在所述根据所述数据类型及所述解析后数据,确定插入数据之后,还包括:

7.根据权利要求2所述的方法,其特征在于,所述物理记录所对应的数据类型包括以下至少一个:定长数据类型及变长数据类型。

8.一种日志生成装置,其特征在于,包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的日志生成方法。

...

【技术特征摘要】

1.一种日志生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,还包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述存储顺序及所述数据长度,解析所述物理记录,得到解析后数据,包括:

4.根据权利要求2所述的方法,其特征在于,根据所述数据类型及所述解析后数据,确定插入数据,包括:

5.根据权利要求2所述的方法,其特征在于,在所述根据插入数据在所述逻辑日志中的物理记录偏移信息,从重做日志中获取所述物理记录偏移信息所对应的物理记录之前,还包括:

<...

【专利技术属性】
技术研发人员:韩朱忠冯岳松郭琰
申请(专利权)人:上海达梦数据库有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1