【技术实现步骤摘要】
本专利技术涉及数据处理领域，特别涉及一种数据处理方法、装置、设备及计算机可读存储介质。
技术介绍
1、重删技术在实际应用中，通常采用固定的颗粒度设置策略，这种单一固定的颗粒度设定法往往无法使重删效率达到最佳状态，导致数据落盘时由于落盘数据量大，磁盘空间占用大。
2、因此，如何提高存储空间的数据重删效率是当前亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供一种数据处理方法、装置、设备及计算机可读存储介质，解决了现有技术中数据重删效率低的问题。
2、为解决上述技术问题，本专利技术提供了一种数据处理方法，包括：
3、获取重删粒度区间；
4、计算所述重删粒度区间内重删粒度对应的重删比，并根据所述重删比调整所述重删粒度区间，得到最佳重删粒度区间；
5、从所述最佳重删粒度区间中确定最佳重删粒度，并根据所述最佳重删粒度对存储空间内的重复数据进行删除。
6、一方面，获取重删粒度区间，包括：
7、根据当前写入粒度确定最小重删粒度和最大重删粒度；所述最小重删粒度小于所述当前写入粒度；
8、根据所述最小重删粒度和所述最大重删粒度确定所述重删粒度区间。
9、一方面，还包括：
10、获取写入所述存储空间数据的数据指纹，并将所述数据指纹缓存至所述存储空间中；所述数据指纹根据数据段结构设定；
11、根据所述数据指纹和元数据管理系统将所述存储空间中删除后的剩余数
12、一方面，根据所述数据指纹和元数据管理系统将所述存储空间中删除后的剩余数据写入至硬盘中，包括：
13、当所述硬盘为空时，则根据所述数据指纹将所述剩余数据全部写入至所述硬盘中；
14、当所述硬盘不为空时，则根据所述数据指纹将所述剩余数据与所述硬盘中的数据进行相似度对比，确定所述剩余数据中的相同数据和不同数据；
15、将所述不同数据写入至所述硬盘中。
16、一方面，根据所述数据指纹和元数据管理系统将所述存储空间中删除后的剩余数据写入至硬盘中，包括：
17、获取写入次数，根据所述写入次数将所述剩余数据划分为热数据和冷数据；
18、根据所述数据指纹将所述热数据写入至所述磁盘的中心位置，根据所述数据指纹将所述冷数据写入至所述磁盘的边缘位置。
19、一方面，计算所述重删粒度区间内重删粒度对应的重删比，并根据所述重删比调整所述重删粒度区间，得到最佳重删粒度区间，包括：
20、分别计算所述重删粒度区间中最小重删粒度、最大重删粒度和中间重删粒度对应的重删比；
21、根据所述重删比更新所述重删粒度区间；
22、重复执行所述分别计算所述重删粒度区间中最小重删粒度、最大重删粒度和中间重删粒度下的重删比和根据所述重删比更新所述重删粒度区间的步骤，直至更新后的所述重删粒度区间的最大重删粒度和最小重删粒度的差值满足预设阈值，停止更新，得到所述最佳重删粒度区间；
23、其中，所述根据所述重删比更新所述重删粒度区间，包括：
24、将计算得到的最大重删比对应的重删粒度作为所述重删粒度区间的最大重删粒度，将计算得到的第二大重删比对应的重删粒度作为所述重删粒度区间的最小重删粒度。
25、一方面，从所述最佳重删粒度区间中确定最佳重删粒度，包括：
26、将所述最佳重删粒度区间的中间值作为所述最佳重删粒度。
27、本专利技术还提供了一种数据处理装置，包括：
28、重删比区间获取模块，用于获取重删粒度区间；
29、最佳重删粒度区间确定模块，用于计算所述重删粒度区间内重删粒度对应的重删比，并根据所述重删比调整所述重删粒度区间，得到最佳重删粒度区间；
30、重删模块，用于从所述最佳重删粒度区间中确定最佳重删粒度，并根据所述最佳重删粒度对存储空间内的重复数据进行删除。
31、本专利技术还提供了一种数据处理设备，包括：
32、存储器，用于存储计算机程序；
33、处理器，用于执行所述计算机程序时实现如上述的数据处理方法的步骤。
34、本专利技术还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如上述的数据处理方法的步骤。
35、本专利技术还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上述数据处理方法的步骤。
36、由上述技术方案可以看出，本专利技术通过获取重删粒度区间；计算重删粒度区间内重删粒度对应的重删比，并根据重删比调整重删粒度区间，得到最佳重删粒度区间；从最佳重删粒度区间中确定最佳重删粒度，并根据最佳重删粒度对存储空间内的重复数据进行删除。本专利技术的有益效果在于：通过重删比自适应地调整重删粒度区间得到最佳重删粒度区间，再进一步从最佳重删粒度区间中确定最佳重删粒度，利用最佳重删粒度进行数据重删。通过这种灵活准确的重删粒度确定方式，不仅能够确保重删的正常运行，还能显著提升重删比，节省存储空间，进一步优化重删性能。
37、此外，本专利技术还提供了一种数据处理装置、设备及计算机可读存储介质，同样具有上述有益效果。
本文档来自技高网...【技术保护点】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，获取重删粒度区间，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，还包括：
4.根据权利要求3所述的数据处理方法，其特征在于，根据所述数据指纹和元数据管理系统将所述存储空间中删除后的剩余数据写入至硬盘中，包括：
5.根据权利要求3所述的数据处理方法，其特征在于，根据所述数据指纹和元数据管理系统将所述存储空间中删除后的剩余数据写入至硬盘中，包括：
6.根据权利要求1至5任一项所述的数据处理方法，其特征在于，计算所述重删粒度区间内重删粒度对应的重删比，并根据所述重删比调整所述重删粒度区间，得到最佳重删粒度区间，包括：
7.根据权利要求6所述的数据处理方法，其特征在于，从所述最佳重删粒度区间中确定最佳重删粒度，包括：
8.一种数据处理装置，其特征在于，包括：
9.一种数据处理设备，其特征在于，包括：
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可
...【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
2.根据权利要求1所述的数据处理方法，其特征在于，获取重删粒度区间，包括：
3.根据权利要求1所述的数据处理方法，其特征在于，还包括：
4.根据权利要求3所述的数据处理方法，其特征在于，根据所述数据指纹和元数据管理系统将所述存储空间中删除后的剩余数据写入至硬盘中，包括：
5.根据权利要求3所述的数据处理方法，其特征在于，根据所述数据指纹和元数据管理系统将所述存储空间中删除后的剩余数据写入至硬盘中，包括：
6.根据权利要求1至5任一项所述的数据处...
【专利技术属性】
技术研发人员：张耀，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。