一种数据和日志一体化的值日志实现方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据和日志一体化的值日志实现方法、装置、设备及存储介质，整个装置只有顺序写，性能比传统存在随机写的情况提升10倍甚至更多的写入性能；只用写1份数据，避免传统数据库需要写3

【技术实现步骤摘要】
一种数据和日志一体化的值日志实现方法、装置、设备及存储介质


[0001]本专利技术涉及数据库
，尤其是一种数据和日志一体化的值日志实现方法、装置、设备及存储介质。

技术介绍

[0002]日志是数据库和各种Key
‑
Value(简称为KV)等数据处理系统的重要组成部分，数据库/KV等数据处理系统只需要将数据页中修改的内容持久化到日志中，便可以只对该数据在内存中的拷贝进行修改，而不需要每次修改都将数据写到磁盘。这样的好处是日志写入是一小块区域的顺序I/O，而通常数据库/KV等数据处理系统数据的写入是随机I/O，通过日志的持久化，既保障了数据存储的可靠性，又提高了数据写入的效率。
[0003]在实际应用中，为了保证系统可以恢复到任意时间点，通常现有数据库和各种基于KV的数据处理的系统都还会开启归档日志。另外，为了满足多版本并发控制的需要，大多数数据库如Oracle等在更新数据时，还会把历史版本的数据写入到回滚段以便其他事务可以访问修改前的数据。因此，传统数据库在实际应用中相当于需要写四份数据：第一份是用户实际的数据，第本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据和日志一体化的值日志实现方法，其特征在于，包括如下步骤：(1)数据处理系统中的工作线程或进程解析接收到的操作请求，确定操作类型；(2)当操作类型是数据更新操作时，工作线程或进程将删除、修改操作都转化为插入操作；(3)工作线程或进程在内存中执行插入操作并在内存中生成和最终写入到磁盘存储设备的相同格式的物理记录，随后将内存中的物理记录直接写入到值日志文件，或先写入到值日志缓冲区，等待写盘线程或进程刷盘，待刷盘完成后，把操作结果发送给客户端；(4)启用值日志缓冲区时，写盘线程或进程不断将值日志缓冲区的物理记录顺序写入到值日志文件末尾，并通知工作线程或进程完成刷盘任务。2.如权利要求1所述的数据和日志一体化的值日志实现方法，其特征在于，步骤(2)中，数据更新操作包括插入、删除和修改。3.如权利要求1所述的数据和日志一体化的值日志实现方法，其特征在于，步骤(2)中，工作线程或进程将删除、修改操作都转化为插入操作具体为：将删除操作转化为插入一条含有键和删除标记的记录，修改操作转化为插入一条含有键和删除标记的记录和插入一条新的修改后的记录，使得整个系统中所有的数据更新操作都变成了插入操作。4.一种数据和日志一体化的值日志实现装置，其特征在于，包括：操作解析模块，负责解析接收到的操作请求，确定操作类型；操作转化模块，用于对数据更新操作进行转化；执行模块，完成数据插入操作，并在内存中生成和最终值日志文件中格式一致的物理记录；之后选择将物...

【专利技术属性】
技术研发人员：付新，王学海，姜久文，
申请(专利权)人：达梦数据技术江苏有限公司，
类型：发明
国别省市：