分布式存储系统中的协同压缩技术方案

技术编号:23343453 阅读:43 留言:0更新日期:2020-02-15 03:55
本申请描述的实施例提供了一种系统,该系统包括存储单元、控制模块、压缩模块和通信模块。在操作过程中,存储单元可以存储数据。控制模块确定存储在存储单元的数据是否触发了分布式存储系统中的存储操作。然后,压缩模块通过使用比数据的位更少的位对数据进行编码来压缩数据。最后,通信模块将压缩数据发送到分布式存储系统中的多个存储节点以进行持久存储。

Cooperative compression in distributed storage system

【技术实现步骤摘要】
分布式存储系统中的协同压缩相关申请本申请要求专利技术人李舒于2018年8月2日提交的第62/713906号美国临时申请的优先权,其代理所案卷号为ALI-A15933USP,专利技术名称为“与分布式系统协同压缩以提高效率和性能(CompressionCollaborationwithDistributedSystemforEfficiencyandPerformanceEnhancement)”,其全部内容通过引用结合在本申请中。
本公开一般涉及存储管理领域,更具体地,本公开涉及一种在分布式存储系统的客户端节点和存储节点之间促进协同压缩的系统和方法。
技术介绍
在物理和虚拟设备上运行的各种应用程序对计算资源的需求不断增加。因此,设备供应商竞相建造容量更大、速度更快的具有通用功能的计算设备(例如处理器、存储设备、存储器设备等)。然而,计算设备的能力不可能无限增长。它受物理空间、功耗和设计复杂性等诸多因素的限制。此外,具有更高性能的计算设备通常更加复杂和昂贵。更重要的是,由于过于庞大和复杂的系统往往不能提供规模经济,简单地增加计算设备的规模和本文档来自技高网...

【技术保护点】
1.一种装置,包括:/n存储单元,所述存储单元被配置为存储数据;/n控制单元,所述控制单元被配置为确定所述存储单元中存储的数据是否触发了分布式存储系统中的存储操作;/n压缩单元,所述压缩单元被配置为通过使用比所述数据的位更少的位对所述数据进行编码来压缩所述数据;以及/n通信单元,所述通信单元被配置为将压缩的数据发送到所述分布式存储系统中的多个存储节点以进行持久存储。/n

【技术特征摘要】
20180802 US 62/713,9061.一种装置,包括:
存储单元,所述存储单元被配置为存储数据;
控制单元,所述控制单元被配置为确定所述存储单元中存储的数据是否触发了分布式存储系统中的存储操作;
压缩单元,所述压缩单元被配置为通过使用比所述数据的位更少的位对所述数据进行编码来压缩所述数据;以及
通信单元,所述通信单元被配置为将压缩的数据发送到所述分布式存储系统中的多个存储节点以进行持久存储。


2.根据权利要求1所述的装置,其中,所述存储操作是响应以下之一而被触发的:
存储在所述存储单元的数据达到阈值;以及
所述存储单元的计时器到期。


3.根据权利要求1所述的装置,其中,所述控制单元还被配置为从所述分布式存储服务的主节点查询所述压缩数据的存储路径,其中,所述存储路径指示所述多个存储节点。


4.根据权利要求3所述的装置,其中,所述控制单元还被配置为:
基于与所述数据关联的元数据,向所述主节点查询所述压缩数据的位置;
基于来自所述主节点的查询响应,从所述多个存储节点中确定存储节点;
其中,所述通信电路还被配置为向所述存储节点发送对所述压缩数据的读请求。


5.根据权利要求4所述的装置,其中,所述通信单元还被配置为从所述存储节点接收具有原始位的所述数据。


6.根据权利要求1所述的装置,还包括接口单元,所述接口单元被配置为对所述数据执行存储读取操作,其中,所述存储读取操作被执行以从所述存储单元读取数据并将所述数据传输到一个或多个存储节点以进行持久存储。


7.根据权利要求1所述的装置,还包括组织单元,所述组织单元被配置为对所述数据应用一组组织操作,所述组织操作不包括在将所述数据存储在所述存储单元中之前所述压缩电路的操作,其中,所述一组组织操作包括以下一个或多个:加密、数据验证、纠错码(ECC)编码和数据加扰。


8.一种装置,包括:
非易失性存储单元,所述非易失性存储单元被配置为存储压缩数据;
接口单元,所述接口单元被配置从分布式存储系统的客户端节点识别对所述压缩数据的请求;
控制单元,所述控制单元被配置为确定对所述压缩数据的请求触发用户读取操作;
解压缩单元,所述解压缩单元被配置为解压缩所述压缩数据以生成数据,其中,所述压缩数据包括的位少于所述数据的位;以及
通信单元,所述通信单元被配置为将所述数据发送到所述客户端节点。


9.根据权利要求8所述的装置,其中,所述通信单元被配置为接收包括压缩数据的消息;以及
其中,所述控制单元还被配置...

【专利技术属性】
技术研发人员:李舒周平
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛;KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1