合并数据的方法、装置、计算设备和存储介质制造方法及图纸

本申请提供了一种合并数据的方法、装置、计算设备和存储介质，所属的技术领域为存储技术领域。该方法包括：在进行合并处理时，获取执行增量检查点事件获得的目标数据表的第一更新日志记录的元数据信息，其中，该元数据信息包括第一更新日志记录在内存中的目标数据表中的位置，根据第一更新日志记录的元数据信息，确定第一更新日志记录对应的散列度，根据该散列度，对第一更新日志记录进行合并处理。采用本申请，可以降低合并处理时的读写放大。

【技术实现步骤摘要】
合并数据的方法、装置、计算设备和存储介质
本申请涉及存储
，特别涉及一种合并数据的方法、装置、计算设备和存储介质。
技术介绍
在数据库中，为了提升写性能，往往将随机写转换为顺序写(如采用预写日志(WriteAheadLog，WAL)的方式)，如日志结构的合并(Log-StructuredMerge，LSM)树、日志即数据等。然而这也带来了数据库中数据不连续性的问题，为了解决该问题，需要将数据库中的数据进行合并排序等。相关技术中，假设在t0时刻数据库的某个数据表中对应有两个日志(log)文件log1和log2，日志文件中包括有日志记录，日志文件log1包括日志记录r10、r11…，日志文件log2包括日志记录r100、r101…。在t1时刻，日志记录r11和r100分别被更新为r11'和r100'，同时此时达到合并数据的触发点。存储设备在磁盘中读取日志记录r11和r100所在log文件(log1和log2)所有的日志记录，在磁盘中读取更新产生的更新日志记录r11'和r100'。存储设备将数据表的log1和log2中的所有日志记录与r本文档来自技高网...

【技术保护点】
1.一种合并数据的方法，其特征在于，所述方法包括：/n获取执行增量检查点事件获得的目标数据表的第一更新日志记录的元数据信息，其中，所述元数据信息包括所述第一更新日志记录在内存中的所述目标数据表中的位置；/n根据所述元数据信息，确定所述第一更新日志记录对应的散列度；/n根据所述散列度，对所述第一更新日志记录进行合并处理。/n

【技术特征摘要】
1.一种合并数据的方法，其特征在于，所述方法包括：
获取执行增量检查点事件获得的目标数据表的第一更新日志记录的元数据信息，其中，所述元数据信息包括所述第一更新日志记录在内存中的所述目标数据表中的位置；
根据所述元数据信息，确定所述第一更新日志记录对应的散列度；
根据所述散列度，对所述第一更新日志记录进行合并处理。


2.根据权利要求1所述的方法，其特征在于，所述根据所述散列度，对所述第一更新日志记录进行合并处理，包括：
在所述散列度小于第一数值时，对所述第一更新日志记录进行合并处理；
在所述散列度大于或等于第一数值时，根据所述散列度和第二数值的大小关系，对所述第一更新日志记录进行合并处理，其中，所述第一数值小于所述第二数值。


3.根据权利要求2所述的方法，其特征在于，所述根据所述散列度和第二数值的大小关系，对所述第一更新日志记录进行合并处理，包括：
在所述散列度小于所述第二数值时，获取下一次执行增量检查点事件获得的所述目标数据表的第二更新日志记录；根据所述第一更新日志记录与所述第二更新日志记录之间的散列度，对所述第一更新日志记录和所述第二更新日志记录进行合并处理；
在所述散列度大于或等于所述第二数值时，对所述目标数据表，进行合并处理。


4.根据权利要求3所述的方法，其特征在于，所述根据所述第一更新日志记录与所述第二更新日志记录之间的散列度，对所述第一更新日志记录和所述第二更新日志记录进行合并处理，包括：
在所述第一更新日志记录与所述第二更新日志记录之间的散列度小于所述第一数值时，对所述第一更新日志记录和所述第二更新日志记录，进行合并处理；
在所述第一更新日志记录与所述第二更新日志记录之间的散列度大于或等于所述第一数值时，对所述目标数据表，进行合并处理。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述元数据信息，确定所述第一更新日志记录对应的散列度，包括：
将所述元数据信息输入至散列函数，获得所述第一更新日志记录对应的散列度。


6.根据权利要求1至5任一项所述的方法，其特征在于，所述元数据信息中还包括所述第一更新日志记录所属的事务；
所述在所述散列度小于第一数值时，对所述第一更新日志记录进行合并处理，包括：
在所述散列度小于第一数值时，确定与所述第一更新日志记录属于相同事务的第三日志记录，其中，所述第三日志记录为未进行更新的日志记录；
在所述第三日志记录与所述第一更新日志记录散列度小于第一数值时，对所述第一更新日志记录和所述第三日志记录进行合并处理；
在所述第三日志记录与所述第一更新日志记录散列度大于或等于所述第一数值时，对所述第一更新日志记录进行合并处理。


7.根据权利要求1至6任一项所述的方法，其特征在于，所述对所述第一更新日志记录进行合并处理，包括：
在所述内存中存在所述第一更新日志记录的数据时，将所述内存中的所述第一更新日志记录的数据连续的存储至磁盘；
在所述内存中不存在所述第一更新日志记录的数据时，从所述磁盘中读取所述第一更新日志记录的数据，将读取的所述第一更新日志记录的数据连续的存储至所述磁盘。


8.一种合并数据的装置，其特征在于，所述装置包括：
获取模块，用于获取执行增量检查点事件获得的目标数据表的第一更新...

【专利技术属性】
技术研发人员：李伟，钟延辉，谢晓芹，吕金泉，任波，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44