一种compact处理速度的调整方法、装置、电子设备和介质制造方法及图纸

本申请提供了一种compact处理速度的调整方法、装置、电子设备和介质，所述方法应用于管理数据库的电子设备中，该方法包括：当开始执行本次合并compact操作时，记录本次compact操作的开始时间，并获取上一次compact操作的执行情况；确定当前用户业务在所述数据库的当前层所产生的文件的文件大小；基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，所述compact处理速度的调整通过调整磁盘IO单次读/写数据的大小实现。由此实现了自适应地调整compact处理速度，以保证磁盘的正常读写，以及同时避免影响用户业务。务。务。

【技术实现步骤摘要】
一种compact处理速度的调整方法、装置、电子设备和介质


[0001]本申请涉及存储
，尤其涉及一种compact处理速度的调整方法、装置、电子设备和介质。

技术介绍

[0002]K-V数据库提供K-V格式入口entry的数据存储服务，支持对K-V数据库进行插入、查询、修改、删除等操作。在K-V数据进行归档永久化存储时，数据将被有序组织以文件的形式写入磁盘。伴随着新数据的不断写入，文件大小不断增大，导致数据有序固化到磁盘的处理耗时明显增大，对性能产生较大影响；基于此有一类K-V数据库(如leveldb、rocksdb)提出了分层组织的磁盘文件来实现对归档文件大小的控制，每层设定可存放的数据大小阈值，当顶层的数据量到达该阈值时，通过合并compact操作将数据转储到底层。而在对K-V数据库进行K-V数据删除操作时，为了提高效率，往往都不是实时进行删除操作，而是通过标记为删除状态并在合适的时机进行批量的空间回收，因此进行大量K-V数据的插入、修改、删除操作后，会导致存储K-V数据的文件不断增大且可能存在需要进行空间回收的K-V数据，此时则需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种compact处理速度的调整方法，其特征在于，应用于管理数据库的电子设备中，所述方法，包括：当开始执行本次合并compact操作时，记录本次compact操作的开始时间，并获取上一次compact操作的执行情况；确定当前用户业务在所述数据库的当前层所产生的文件的文件大小；基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，所述compact处理速度的调整通过调整磁盘IO单次读/写数据的大小实现。2.根据权利要求1所述的方法，其特征在于，所述上一次compact操作的执行情况包括上一次compact操作的开始时间和上一次compact操作的结束时间；则基于所述开始时间、所述上一次compact操作的执行情况和所述当前层所产生的文件的文件大小，对compact处理速度进行调整，包括：判断所述当前层所产生的文件的文件大小是否达到设定阈值；若未达到所述设定阈值，则基于所述上一次compact操作的结束时间和所述上一次compact操作的开始时间，确定执行所述上一次compact操作的耗时时间；以及确定所述本次compact操作的开始时间与所述上一次compact操作的结束时间之间的时间间隔；若所述时间间隔小于所述耗时时间，则调大本次compact操作的compact处理速度；若所述时间间隔不小于所述耗时时间，则调小本次compact操作的compact处理速度。3.根据权利要求2所述的方法，其特征在于，若达到所述设定阈值，则将本次compact操作的compact处理速度调至最大处理速度。4.根据权利要求1所述的方法，其特征在于，还包括：判断所述数据库的当前层所产生的文件是否读取完成；若未读取完成，则利用调整后的compact处理速度继续读取所述数据库的当前层所产生的文件并做合并处理；判断合并处理后的文件大小是否达到当前层对应的固化阈值；若达到固化阈值，则利用调整后的compact处理速度将合并后的文件写入到磁盘中；若未达到固化阈值，则继续执行利用调整后的compact处理速度继续读取所述数据库的当前层所产生的文件并做合并处理的步骤，直至将所述数据库的当前层所产生的文件读取...

【专利技术属性】
技术研发人员：余思明，
申请(专利权)人：新华三技术有限公司成都分公司，
类型：发明
国别省市：