【技术实现步骤摘要】
【国外来华专利技术】优化压缩数据的存储和获取
[0001]本公开涉及压缩数据存储和获取的
技术介绍
[0002]存储在存储系统中的数据有时可能会被压缩以增加能够在存储系统中存储的数据的量。作为一个例子，压缩数据对象可以通过网络存储在一个或多个网络存储位置。如果用户希望通过范围读取来访问存储的数据对象的一部分，则通常可以从网络存储器中获取所请求的部分前面的所有对象数据并对其解压缩。例如，传统技术可能不能在不确定前面数据的压缩的情况下只在特定的请求位置开始解压缩。因此，通常可能会对前面所有数据解压缩以实现对期望部分的解压缩和访问。该过程在计算上可能低效且耗时。
技术实现思路
[0003]一些实现方式包括可以接收数据对象的多个数据块的计算机系统。系统可以压缩多个数据块以获得多个压缩块，并且可以确定多个压缩块一起是否小于阈值大小。基于确定多个压缩块一起小于阈值大小，系统可以向映射数据结构中的各个条目加入多个压缩块的相应大小。另外，系统可以通过组合各个条目中的至少两个条目的值来精简映射数据结构，并且可以存储多个压缩块和精简后的映
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：一个或多个处理器；以及存储可执行指令的一个或多个非瞬态计算机可读介质，所述可执行指令在由所述一个或多个处理器执行时将所述一个或多个处理器配置为执行操作，所述操作包括：接收数据对象的多个数据块；压缩所述多个数据块以获得多个压缩块；确定所述多个压缩块一起是否小于第一阈值大小；基于确定所述多个压缩块一起小于所述第一阈值大小，向映射数据结构中的各个条目加入所述多个压缩块的相应大小；通过组合所述各个条目中的至少两个条目的值来精简所述映射数据结构；以及存储所述多个压缩块和精简后的映射数据结构。2.根据权利要求1所述的系统，其中，所述多个块为所述数据对象的第一多个块，并且所述多个压缩块为第一多个压缩块，所述操作还包括：接收所述数据对象的第二多个数据块；压缩所述第二多个数据块以获得第二多个压缩块；确定所述第二多个压缩块一起是否小于所述第一阈值大小；基于确定所述第二多个压缩块一起不小于所述第一阈值大小，向所述映射数据结构中的各个条目加入指示所述第二多个块未被压缩的值；以及将非压缩形式的所述第二多个压缩块和所述第二多个块一起存储。3.根据权利要求1所述的系统，其中，与所述多个压缩块包括在一起的所述多个数据块中的至少一个块是不可压缩的，所述多个压缩块整体是可压缩的，所述操作还包括：将用于所述至少一个块的预定值包括到所述映射数据结构中的相应条目中，所述预定值具有指示所述至少一个块未被压缩的大小；以及将与所述至少一个块的所述预定值和实际大小值之间的差值相对应的溢出值，分配到所述映射数据结构中与所述多个压缩块中的至少一个压缩块相对应的至少一个其他条目。4.根据权利要求3所述的系统，所述操作还包括：确定每个所述压缩块单独是否小于第二阈值大小；基于在尝试压缩后确定所述多个块中的所述至少一个块的所述实际大小值超过所述第二阈值大小，确定所述至少一个块是不可压缩的；将所述预定值作为压缩后大小输入所述映射数据结构中的所述至少一个块的相应条目中；以及通过将所述实际大小值和所述预定值之间的差值添加到所述至少一个压缩块的所述压缩后大小来分配所述溢出值，所述至少一个压缩块的压缩后大小小于所述第二阈值大小。5.根据权利要求3所述的系统，其中，在所述映射数据结构的精简期间，将所述预定值与所述映射数据结构中的相邻条目的值组合。6.根据权利要求1所述的系统，所述操作还包括为所述映射数据结构和所述精简后的映射数据结构中的至少一个生成标头，所述标头包括所述精简后的映射数据结构的存储位置的指示和块大小的指示。
7.根据权利要求6所述的系统，其中，存储所述精简后的映射数据结构至少包括以下之一：将所述精简后的映射数据结构与所述标头相关联地存储到元数据数据库中；或者在压缩所述数据对象的至少一部分后，将精简后的映射与所述数据对象相关联地存储到网络存储位置处。8.根据权利要求1所述的系统，所述操作还包括：在所述数据对象的至少部分压缩后，接收访问所述数据对象中的数据的请求；确定要从所述数据对象获取的数据范围；基于所述范围，在所述数据对象的至少部分压缩后...
【专利技术属性】
技术研发人员：罗纳德，
申请(专利权)人：日立数据管理有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。