数据处理方法、装置、计算机设备、存储介质和程序产品制造方法及图纸

技术编号:44971288 阅读:25 留言:0更新日期:2025-04-12 01:45
本申请涉及一种数据处理方法、装置、计算机设备、存储介质和程序产品。所述方法包括:根据磁盘上各待重删数据的指纹信息,确定各待重删数据对应的预设重删时长;在每间隔预设重删时长时,对磁盘上的各待重删数据进行重删操作。根据各待重删数据的指纹信息,灵活地确定各待重删数据对应的预设重删时长,提高了预设重删时长与待重删数据的匹配度,进一步地,基于预设重删时长对待重删数据进行重删操作,避免对所有待重删数据均进行高频率的重删操作,提高了对待重删数据进行重删操作的效率。

【技术实现步骤摘要】

本申请涉及计算机设备,特别是涉及一种数据处理方法、装置、计算机设备、存储介质和程序产品


技术介绍

1、为了提升用户可以使用的容量,存储阵列会采用重复数据删除技术,基于该存储技术,多份相同的数据只会保存一份到硬盘上,重复数据采用映射的方式指向该数据所在的位置,以达到提升用户可用容量的目的。

2、传统技术在删除重复数据时,通常需要遍历存储空间中所有数据块,读取该所有数据块进行比对,以选择出相同数据块进行重复删除操作,直到保留一份数据在硬盘上。

3、然而,上述数据重删方法存在重删效率较低的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高数据重删效率的数据处理方法、装置、计算机设备、存储介质和程序产品。

2、第一方面,本申请提供了一种数据处理方法,包括:

3、根据磁盘上各待重删数据的指纹信息,确定各待重删数据对应的预设重删时长;

4、在每间隔预设重删时长时,对磁盘上的各待重删数据进行重删操作。

5、上述数据处理方法、装置、计算机设备、存储介质和程序产品,根据磁盘上各待重删数据的指纹信息,确定各待重删数据对应的预设重删时长;在每间隔预设重删时长时,对磁盘上的各待重删数据进行重删操作。根据各待重删数据的指纹信息,灵活地确定各待重删数据对应的预设重删时长,提高了预设重删时长与待重删数据的匹配度,进一步地,基于预设重删时长对待重删数据进行重删操作,避免对所有待重删数据均进行高频率的重删操作,提高了对待重删数据进行重删操作的效率。

6、在其中一个实施例中,根据磁盘上各待重删数据的指纹信息,确定各待重删数据对应的预设重删时长,包括:

7、根据磁盘上各待重删数据的指纹信息,确定各待重删数据的热度和重复数量;重复数量表示与各待重删数据的指纹信息一致的数据数量;

8、根据各待重删数据的热度和重复数量,确定各待重删数据对应的预设重删时长。

9、上述申请实施例中,根据待重删数据的指纹信息,确定待重删数据的热度和重复数量,仅对指纹信息进行读取和分析,无需对待重删数据进行读取和分析,减少了数据处理的时间,从而提高了确定待重删数据的热度和重复数量的效率,进而提高了对待重删数据进行重删操作的效率。

10、在其中一个实施例中,根据各待重删数据的热度和重复数量,确定各待重删数据对应的预设重删时长,包括:

11、根据各待重删数据的热度,确定各待重删数据的初始重删时长;

12、根据各待重删数据的重复数量,对各待重删数据的初始重删时长进行修正,得到各待重删数据对应的预设重删时长。

13、上述申请实施例中,先根据待重删数据的热度,确定待重删数据的初始重删时长,再根据待重删数据的重复数据对初始重删时长进行修正,通过两次确定过程更加准确的得到预设重删时长,提高了预设重删时长的可靠性。

14、在其中一个实施例中,根据磁盘上各待重删数据的指纹信息,确定各待重删数据的热度,包括:

15、根据磁盘上各待重删数据的指纹信息,确定各待重删数据的存储位置;

16、根据各待重删数据的存储位置,确定各待重删数据的热度。

17、上述申请实施例中,现根据各待重删数据的指纹信息,确定各待重删数据的存储位置,从而根据各存储位置,确定各待重删数据的热度,根据存储位置的热度确定待重删数据的热度,提高了各待重删数据的热度的准确性。

18、在其中一个实施例中,在每间隔预设重删时长时,对磁盘上的各待重删数据进行重删操作,包括:

19、获取各待重删数据的属性;

20、针对每个待重删数据,若待重删数据的属性为保留属性,则保留待重删数据,并删除与待重删数据相同的其他数据;

21、若待重删数据为非保留属性,则删除待重删数据,并从与待重删数据相同的其他数据中选择目标其他数据进行保留操作,以及删除除目标其他数据以外的其他数据;目标其他数据的属性为保留属性。

22、上述申请实施例中,根据待重删数据的属性对待重删数据进行重删操作,从而保留最优位置存储的相同数据,或者保留可靠性最高的相同数据,从而提高了服务器的存储性能和读写性能,同时提高了存储空间对应的磁盘阵列的寿命和均衡度。

23、在其中一个实施例中,方法还包括:

24、记录待重删数据的重删次数,并在重删次数达到预设次数阈值,则优化更新待重删数据对应的预设重删时长。

25、上述申请实施例中,根据待重删数据的重删次数,优化更新待重删数据对应的预设重删时长,使得预设重删时长与待重删数据的匹配度更高,根据优化更新后的预设重删时长与待重删数据进行重删操作,进一步地提高了重删操作的效果。

26、在其中一个实施例中,方法还包括:

27、遍历磁盘上的所有数据的指纹信息,并根据各数据的指纹信息确定候选重删数据;

28、根据各候选重删数据的指纹信息的一致性,从候选重删数据中确定待重删数据。

29、上述申请实施例中,根据指纹信息从所有数据中确定待重删数据,避免对所有数据均进行重删数据,从而提高了对待重删数据进行重删操作的效率,且提高了重删操作的效果。

30、第二方面,本申请还提供了一种数据处理装置,包括:

31、第一确定模块,用于根据磁盘上各待重删数据的指纹信息,确定各待重删数据对应的预设重删时长;

32、重删模块,用于在每间隔预设重删时长时,对磁盘上的各待重删数据进行重删操作。

33、第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:

34、根据磁盘上各待重删数据的指纹信息,确定各待重删数据对应的预设重删时长;

35、在每间隔预设重删时长时,对磁盘上的各待重删数据进行重删操作。

36、第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:

37、根据磁盘上各待重删数据的指纹信息,确定各待重删数据对应的预设重删时长;

38、在每间隔预设重删时长时,对磁盘上的各待重删数据进行重删操作。

39、第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:

40、根据磁盘上各待重删数据的指纹信息,确定各待重删数据对应的预设重删时长;

41、在每间隔预设重删时长时,对磁盘上的各待重删数据进行重删操作。

42、上述数据处理方法、装置、计算机设备、存储介质和程序产品,根据磁盘上各待重删数据的指纹信息,确定各待重删数据对应的预设重删时长;在每间隔预设重删时长时,对磁盘上的各待重删数据进行重删操作。根据各待重删数据的指纹信息,灵活地确定各待重删数据对应的预设重删时长,提高了预设重删时长与待重删数据的匹配本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据磁盘上各待重删数据的指纹信息,确定各所述待重删数据对应的预设重删时长,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各所述待重删数据的热度和重复数量,确定各所述待重删数据对应的预设重删时长,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据磁盘上各待重删数据的指纹信息,确定各所述待重删数据的热度,包括:

5.根据权利要求1-4任一项所述的方法,其特征在于,所述在每间隔所述预设重删时长时,对磁盘上的各所述待重删数据进行重删操作,包括:

6.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1-4任一项所述的方法,其特征在于,所述方法还包括:

8.一种数据处理装置,其特征在于,所述装置包括:

9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据磁盘上各待重删数据的指纹信息,确定各所述待重删数据对应的预设重删时长,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据各所述待重删数据的热度和重复数量,确定各所述待重删数据对应的预设重删时长,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据磁盘上各待重删数据的指纹信息,确定各所述待重删数据的热度,包括:

5.根据权利要求1-4任一项所述的方法,其特征在于,所述在每间隔所述预设重删时长时,对磁盘上的各所述...

【专利技术属性】
技术研发人员:黎智刘晓波蒋成亮陈建春郭照斌
申请(专利权)人:天津中科曙光存储科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1