数据压缩流控方法、装置及电子设备制造方法及图纸

本发明专利技术实施例涉及一种数据压缩流控方法、装置及电子设备，该方法包括：在当前周期内获取至少一个待压缩数据块，按照接收时间对这些待压缩模块进行排序；确定当前是否已触发数据压缩流控机制；当确定已触发数据压缩流控机制后，根据令牌桶中的压缩资源确定至少一个待压缩数据块中排序为第i位的待压缩数据块是否进行数据压缩；当确定不再压缩时，反馈该待压缩数据块至数据传输的上一层。避免因为数据压缩需要排队所导致的IO时延变大，业务性能降低，甚至是用户业务掉零、中断等情况的发生。该方案是在全闪存的空间利用率和业务性能之间做了一个均衡处理。尽量不影响业务性能的情况下，提高全闪存的空间利用率，以减少用户对于全闪存的应用成本。全闪存的应用成本。全闪存的应用成本。

【技术实现步骤摘要】
数据压缩流控方法、装置及电子设备


[0001]本专利技术实施例涉及计算机
，尤其涉及一种数据压缩流控方法、装置及电子设备。

技术介绍

[0002]当前由于全闪存硬盘相对于普通的机械硬盘巨大的性能优势，再加上全闪存盘的价格逐渐下降，全闪存企业数据存储被愈来愈多的企业所认可。但目前大部分的分布式存储系统，仍然是基于机械盘或者混闪模式设计的，无法充分体现出全闪存盘的性能优势；而且，即使闪存盘的价格已经下降很多，仍相对昂贵，因此，在提升全闪存性能的同时，还要考虑提升全闪存的空间利用率。
[0003]为了提升全闪存的空间利用率，可以对数据进行压缩。数据压缩作为全闪系统中提高空间利用率的重要特性，能够有效节省存储空间，在容量固定的前提下帮助用户存储更多的有效数据，提升全闪存储产品的竞争力。
[0004]然而，现有的技术中通常使用硬件压缩方式完成数据压缩。在负载高的情况下，数据需要排队等待压缩。而排队等待的过程又会导致IO时延变大，进而导致业务性能会大大降低，严重时，还会导致用户业务掉零、中断等情况发生。
专利
技术实现思路

本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据压缩流控方法，其特征在于，所述方法应用于分布式全闪存存储系统，包括：在当前周期内获取至少一个待压缩数据块，并按照接收时间对至少一个所述待压缩模块进行排序；确定当前是否已触发数据压缩流控机制；当确定已触发数据压缩流控机制后，根据令牌桶中的压缩资源确定至少一个所述待压缩数据块中排序为第i位的待压缩数据块是否进行数据压缩；当确定不再对所述第i个所述待压缩数据块进行压缩时，反馈第i个所述待压缩数据块至数据传输的上一层，其中，i为正整数。2.根据权利要求1所述的方法，其特征在于，所述压缩资源包括压缩令牌；所述当确定已触发数据压缩流控机制后，根据令牌桶中的资源确定至少一个所述待压缩数据块中排序为第i位的待压缩数据块是否进行数据压缩，具体包括：当确定所述令牌桶中存在所述压缩令牌时，从所述令牌桶中提取一个所述压缩令牌，对所述第i个所述待压缩数据块进行压缩；或者，当确定所述令牌桶中不存在所述压缩令牌时，不再对第i个所述待压缩数据块进行压缩；其中，每使用一个所述压缩令牌后，所述令牌桶中压缩令牌的数量自减一，所述令牌桶中当前周期内的压缩令牌的初始数量为当前周期对应的最大使用数量。3.根据权利要求2所述的方法，其特征在于，所述令牌桶中当前周期内的压缩令牌的初始数量通过如下方式获取：统计当前周期内，用以执行压缩数据块的剩余流量资源；根据预获取的单个所述待压缩数据块所占用的流量和所述剩余流量资源，确定当前周期对应的所述压缩令牌最大使用数量，作为所述令牌桶中当前周期内的压缩令牌的初始数量。4.根据权利要求3所述的方法，其特征在于，根据令牌桶中的压缩资源确定对至少一个所述待压缩数据块中任一个所述待压缩数据块进行数据压缩时，所述方法包括：在当前周期内，每间隔固定时间，从所述令牌桶中提取所述数据令牌，根据所述数据令牌，对当前所有待压缩的数据块中，排在首位的待压缩数据块进行数据压缩，其中，所述固定时间根据周期时间和所述周期内允许执行数据块压缩的最大数量确定。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述确定当前是否已触发数据压缩流控机制，具体包括：监测前一周期内的压缩数据块的平均延时；当确定所述平均延时超过预设时间阈值时...

【专利技术属性】
技术研发人员：杨文文，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：