一种数据读写方法、装置及电子设备和存储介质制造方法及图纸

本申请公开了一种数据读写方法、装置及一种电子设备和计算机可读存储介质，该方法包括：获取数据写入请求，得到所述数据写入请求对应的待写入数据；对所述待写入数据进行压缩，生成压缩后数据；将所述压缩后数据写入硬盘的数据块中，并确定表征所述压缩后数据写入位置的元数据信息；将所述元数据信息写入存储级内存中，所述元数据信息采用覆盖写的方式进行更新。由上可知，本申请将元数据和用户数据分离存储，将待写入的用户数据压缩后写入硬盘，将元数据信息写入存储级内存，且不再对元数据进行压缩，在对元数据更新时将采用覆盖写的方式，提高了元数据的访问性能，同时缓解了高频率垃圾回收导致的性能下降，有效提高了实时压缩存储系统的性能。

【技术实现步骤摘要】
一种数据读写方法、装置及电子设备和存储介质
本申请涉及计算机
，更具体地说，涉及一种数据读写方法、装置及一种电子设备和一种计算机可读存储介质。
技术介绍
当前，大数据的出现和广泛应用对存储容量的增长带来了很大的挑战。应对存储容量的增长有两个途径，一种是扩展存储容量，但会带来成本的增加；另一种是对数据进行压缩，减少存储容量的消耗，节省成本。实时压缩存储系统在数据写入存储设备之前对数据进行压缩，不仅减少了存储空间的占用，更能进一步减少对存储设备(磁盘或固态盘)的访问，从而提高存储系统的性能。传统的实时压缩存储系统，将数据压缩后以顺序写的方式写入存储设备，当数据更新时，更新数据经压缩后仍旧顺序写入存储设备，这样存储设备中的原数据就被标记为无效数据，需要在存储空间不足时执行对无效数据的垃圾回收以重新利用存储空间。存储设备中的压缩数据分为元数据和用户数据两种，两者在分别进行压缩后混合存放在存储设备中。由于元数据的访问频度远高于用户数据的访问频度，其频繁更新将产生大量的无效数据，增加了垃圾回收的频率，往往成为存储系统的性能瓶颈。因此，本文档来自技高网...

【技术保护点】
1.一种数据读写方法，其特征在于，包括：/n获取数据写入请求，得到所述数据写入请求对应的待写入数据；/n对所述待写入数据进行压缩，生成压缩后数据；/n将所述压缩后数据写入硬盘的数据块中，并确定表征所述压缩后数据写入位置的元数据信息；/n将所述元数据信息写入存储级内存中，所述元数据信息采用覆盖写的方式进行更新。/n

【技术特征摘要】
1.一种数据读写方法，其特征在于，包括：
获取数据写入请求，得到所述数据写入请求对应的待写入数据；
对所述待写入数据进行压缩，生成压缩后数据；
将所述压缩后数据写入硬盘的数据块中，并确定表征所述压缩后数据写入位置的元数据信息；
将所述元数据信息写入存储级内存中，所述元数据信息采用覆盖写的方式进行更新。


2.根据权利要求1所述的数据读写方法，其特征在于，所述将所述压缩后数据写入硬盘的数据块中，包括：
判断当前硬盘是否存在为所述压缩后数据分配的数据块；
若存在为所述压缩后数据分配的数据块，则判断当前数据块的剩余空间是否满足所述压缩后数据的长度；
若当前数据块的剩余空间满足所述压缩后数据的长度，则直接将所述压缩后数据写入已分配的数据块中；
若不存在为所述压缩后数据分配的数据块，或当前数据块的剩余空间不满足所述压缩后数据的长度，则在当前硬盘中为所述压缩后数据分配新的数据块，并在分配后执行数据写入操作。


3.根据权利要求1所述的数据读写方法，其特征在于，还包括：
接收数据更新请求，对所述数据更新请求对应的目标数据进行压缩，得到目标数据；
将所述目标数据写入对应的数据块中，并将所述目标数据对应的原始数据标记为无效数据。


4.根据权利要求3所述的数据读写方法，其特征在于，在所述将所述压缩后数据写入硬盘的数据块中之后，还包括：
记录所述数据块的状态信息，所述状态信息包括垃圾数据数量和/或剩余空间大小；
当检测到所述数据块的所述剩余空间大小低于第一预设阈值，或所述垃圾数据数量大于第二预设阈值后，启动垃圾回收进程，以便清除数据块中标记的所述无效数据。


5.根据权利要求4所述的数据读写方法，其特征在于，在所述启动垃圾回收进程之后，还包括：
对所述数据块的状态信息进行监控；
若检测到所述数据块的所述剩余空间大小超过第三预设阈值，或所述垃圾数据数量小于第四预设阈值后，...

【专利技术属性】
技术研发人员：刘文国，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32