System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请实施例涉及计算机领域,具体而言,涉及一种文件的压缩存储方法、装置、存储介质和电子设备。
技术介绍
1、在对文件进行压缩存储的过程,一般的处理方式是先采用压缩算法对文件数据进行压缩,然后再将压缩后的数据放入到存储队列中进行落盘,但是,这种方式还是会存在大量的落盘延迟时间,文件无法及时落盘就可能由于其他情况导致文件数据的丢失。
2、针对相关技术中,文件的压缩存储效率较低等问题,尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种文件的压缩存储方法、装置、存储介质和电子设备,以至少解决相关技术中文件的压缩存储效率较低的问题。
2、根据本申请的一个实施例,提供了一种文件的压缩存储方法,包括:
3、在接收到第一指令的情况下,检测所述第一指令所指示落盘的第一文件的第一落盘参数和第一压缩参数,其中,所述第一指令是数据的落盘延迟时间的落盘优先级高于数据的落盘存储空间的落盘优先级的落盘指令,所述第一落盘参数用于指示在目标时间内能够落盘的缓存块数量,所述第一压缩参数用于指示在所述目标时间内能够压缩的缓存块数量;
4、对所述第一文件中符合所述第一落盘参数的第一组缓存块进行落盘,同时对所述第一文件中符合所述第一压缩参数的第二组缓存块进行压缩得到第一压缩块集合;
5、对所述第一压缩块集合进行落盘。
6、在一个示例性实施例中,所述检测所述第一指令所指示落盘的第一文件的第一落盘参数和第一压缩参数,包括:
7、
8、根据所述第一耗时和所述第二耗时确定能够同时完成缓存块的落盘和压缩的所述目标时间;
9、计算在所述目标时间内能够落盘的缓存块数量作为所述第一落盘参数,并计算在所述目标时间内能够压缩的缓存块数量作为所述第一压缩参数。
10、在一个示例性实施例中,所述确定落盘缓存块的第一耗时,以及确定使用第一压缩算法压缩缓存块的第二耗时,包括:计算n个缓存块的落盘耗时作为所述第一耗时,并计算使用所述第一压缩算法压缩所述n个缓存块的压缩耗时作为所述第二耗时,其中,所述第一压缩算法是允许使用的多个压缩算法中计算速度最慢的压缩算法;
11、所述根据所述第一耗时和所述第二耗时确定能够同时完成缓存块的落盘和压缩的所述目标时间,包括:将所述第一耗时与所述第二耗时的最小公倍数确定为所述目标时间;
12、所述计算在所述目标时间内能够落盘的缓存块数量作为所述第一落盘参数,并计算在所述目标时间内能够压缩的缓存块数量作为所述第一压缩参数,包括:将所述第一落盘参数确定为n与所述目标时间之间的乘积与所述第一耗时的商值,以及将所述第一压缩参数确定为n与所述目标时间之间的乘积与所述第二耗时的商值。
13、在一个示例性实施例中,所述对所述第一文件中符合所述第一落盘参数的第一组缓存块进行落盘,包括:
14、从所述第一文件中提取符合所述第一落盘参数的所述第一组缓存块;
15、将所述第一组缓存块插入存储器输入输出队列中,其中,在所述存储器输入输出队列中所述第一组缓存块优先被落盘。
16、在一个示例性实施例中,所述对所述第一文件中符合所述第一压缩参数的第二组缓存块进行压缩得到第一压缩块集合,包括:
17、从所述第一文件中提取符合所述第一压缩参数的所述第二组缓存块;
18、采用第一压缩算法集合中的压缩算法并行对所述第二组缓存块进行压缩运算,得到多个压缩块集合,其中,所述第一压缩块集合包括所述多个压缩块集合,所述第一压缩算法集合中包括n种压缩算法,n大于1。
19、在一个示例性实施例中,所述对所述第一压缩块集合进行落盘,包括:
20、在允许使用的压缩算法为第一压缩算法集合的情况下,将所述第一压缩块集合中采用第二压缩算法得到的压缩块进行落盘,其中,所述第一压缩算法集合中包括n种压缩算法,n大于1,所述第二压缩算法是所述n种压缩算法中落盘时间最短的压缩算法,所述第一压缩块集合包括多个压缩块集合,所述多个压缩块集合是采用所述n种压缩算法并行对所述第二组缓存块进行压缩运算得到的。
21、在一个示例性实施例中,在所述将所述第一压缩块集合中采用第二压缩算法得到的压缩块进行落盘之后,所述方法还包括:
22、采用所述第二压缩算法对所述第一文件中剩余未落盘缓存块进行压缩落盘。
23、在一个示例性实施例中,所述将所述第一压缩块集合中采用第二压缩算法得到的压缩块进行落盘,包括:
24、检测所述n种压缩算法中每种压缩算法得到的压缩块的压缩比;
25、在所述n种压缩算法的压缩比一致的情况下,将所述第一压缩块集合中采用第二压缩算法得到的压缩块进行落盘。
26、在一个示例性实施例中,在所述检测所述n种压缩算法中每种压缩算法得到的压缩块的压缩比之后,所述方法还包括:
27、在所述n种压缩算法的压缩比不一致的情况下,从所述第一压缩块集合中获取所述第二组缓存块中每个缓存块对应的落盘时间最短的压缩块,得到第二压缩块集合;
28、将所述第二压缩块集合进行落盘。
29、在一个示例性实施例中,在所述将所述第二压缩块集合进行落盘之后,所述方法还包括:
30、检测所述第一文件中除所述第一组缓存块合所述第二组缓存块之外的剩余缓存块的第二落盘参数和第二压缩参数,其中,所述第二落盘参数用于指示在参考时间内能够落盘的缓存块数量,所述第二压缩参数用于指示在所述参考时间内能够压缩的缓存块数量;
31、对所述剩余缓存块中符合所述第二落盘参数的第三组缓存块进行落盘,同时对所述剩余缓存块中符合所述第二压缩参数的第四组缓存块进行压缩得到第三压缩块集合;
32、对所述第三压缩块集合进行落盘。
33、在一个示例性实施例中,所述对所述剩余缓存块中符合所述第二压缩参数的第四组缓存块进行压缩得到第三压缩块集合,包括:
34、从所述剩余缓存块中提取符合所述第二压缩参数的所述第四组缓存块;
35、采用第二压缩算法集合中的压缩算法并行对所述第四组缓存块进行压缩运算,得到所述第三压缩块集合,其中,所述第二压缩算法集合中包括所述第一压缩算法集合中n-m种压缩算法,m大于或者等于1,m种压缩算法是所述第二压缩块集合中的压缩块均未使用的压缩算法。
36、在一个示例性实施例中,所述对所述第一压缩块集合进行落盘,包括:
37、检测所述第一压缩块集合的压缩收益信息,其中,所述压缩收益信息用于指示对所述第一压缩块集合进行落盘相对于对所述第二组缓存块进行落盘是否存在落盘延迟的收益;
38、在所述压缩收益信息用于指示存在落盘延迟的收益的情况下,对所述第一压缩块集合进行落盘;
39、在所述压缩收益信息用于指示不存在落盘延迟的收益的情况下,对所述第二本文档来自技高网...
【技术保护点】
1.一种文件的压缩存储方法,其特征在于,
2.根据权利要求1所述的方法,其特征在于,
3.根据权利要求2所述的方法,其特征在于,
4.根据权利要求1所述的方法,其特征在于,
5.根据权利要求1所述的方法,其特征在于,
6.根据权利要求1所述的方法,其特征在于,
7.根据权利要求6所述的方法,其特征在于,
8.根据权利要求6所述的方法,其特征在于,
9.根据权利要求8所述的方法,其特征在于,
10.根据权利要求9所述的方法,其特征在于,
11.根据权利要求10所述的方法,其特征在于,
12.根据权利要求1所述的方法,其特征在于,
13.根据权利要求1所述的方法,其特征在于,
14.根据权利要求13所述的方法,其特征在于,
15.根据权利要求14所述的方法,其特征在于,
16.根据权利要求15所述的方法,其特征在于,
17.根据权利要求14所述的方法,其特征在于,
18.根据权利要求
19.根据权利要求18所述的方法,其特征在于,
20.根据权利要求19所述的方法,其特征在于,
21.根据权利要求20所述的方法,其特征在于,
22.根据权利要求1所述的方法,其特征在于,
23.根据权利要求22所述的方法,其特征在于,
24.根据权利要求23所述的方法,其特征在于,
25.根据权利要求23所述的方法,其特征在于,
26.根据权利要求1所述的方法,其特征在于,
27.根据权利要求26所述的方法,其特征在于,
28.一种文件的压缩存储装置,其特征在于,
29.一种计算机可读存储介质,其特征在于,
30.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,
...【技术特征摘要】
1.一种文件的压缩存储方法,其特征在于,
2.根据权利要求1所述的方法,其特征在于,
3.根据权利要求2所述的方法,其特征在于,
4.根据权利要求1所述的方法,其特征在于,
5.根据权利要求1所述的方法,其特征在于,
6.根据权利要求1所述的方法,其特征在于,
7.根据权利要求6所述的方法,其特征在于,
8.根据权利要求6所述的方法,其特征在于,
9.根据权利要求8所述的方法,其特征在于,
10.根据权利要求9所述的方法,其特征在于,
11.根据权利要求10所述的方法,其特征在于,
12.根据权利要求1所述的方法,其特征在于,
13.根据权利要求1所述的方法,其特征在于,
14.根据权利要求13所述的方法,其特征在于,
15.根据权利要求14所述的方法,其特征在于,
16.根据权利要求15所述的方法,其特征...
【专利技术属性】
技术研发人员:刘科,张闯,
申请(专利权)人:苏州元脑智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。