对数据进行组合以节省存储容量制造技术

在一些示例中，计算设备将根元数据数据结构(DS)一起存储到组合根元数据文件系统块中，并且在数据文件系统块中至少存储由第一根元数据DS引用的第一文件数据和由第二根元数据DS引用的第二文件数据。计算设备可以基于由第一根元数据DS引用的第一文件数据和由第二根元数据DS引用的第二文件数据，来确定数据文件系统块的引用计数。另外，计算设备可以确定具有与第一文件数据匹配的内容并且由第三根元数据DS引用的第三文件数据。计算设备可以更新第三根元数据DS以引用第一文件数据，并且基于更新第三根元数据DS来更新数据文件系统块的引用计数。引用计数。引用计数。

【技术实现步骤摘要】
【国外来华专利技术】对数据进行组合以节省存储容量


[0001]本公开总体上涉及数据存储，更具体地涉及减少数据存储系统中浪费的存储容量。

技术介绍

[0002]诸如文件等对象通常可以包括对象数据和对象元数据。例如，对象数据包括对象的内容，而对象元数据可以包括关于对象数据和对象数据在文件系统中的位置的信息。此外，在文件系统中，对象数据和元数据通常可以被存储在固定大小的文件系统块中。对象的大于单个文件系统块的对象数据可以被分割并存储到多个文件系统块中。包含特定对象的对象数据(即，数据块)的(一个或多个)文件系统块的位置可以通过为对象创建的文件系统元数据的形式来指向。对象的文件系统元数据也可以被存储在一个或多个固定块大小的文件系统块中。因此，每当小于固定块大小的文件被存储到文件系统中时，固定块大小的文件系统就可能浪费存储空间。类似地，每当小于固定块大小的元数据数据结构被存储到单独的元数据文件系统块中时，固定块大小的文件系统就可能浪费空间。

技术实现思路

[0003]本文的一些示例包括计算设备，该计算设备可以将根元数据数据结构(DS)一起存储到组合根元数据文件系统块中，并且可以在数据文件系统块中至少存储由第一根元数据DS引用的第一文件数据和由第二根元数据DS引用的第二文件数据。计算设备可以基于由第一根元数据DS引用的第一文件数据和由第二根元数据DS引用的第二文件数据来确定数据文件系统块的引用计数。另外，计算设备可以确定具有与第一文件数据匹配的内容并且由第三根元数据DS引用的第三文件数据。计算设备可以更新第三根元数据DS以引用第一文件数据，并且基于更新第三根元数据DS来更新数据文件系统块的引用计数。
附图说明
[0004]参照附图阐述详细描述。在附图中，附图标记的最左边的(一个或多个)数字标识该附图标记首次出现的附图。在不同附图中使用相同的附图标记表示相似或相同的项目或特征。
[0005]图1示出了根据一些实现方式的系统的示例架构，该系统被配置为能够对元数据数据结构(元数据DS)和对象数据进行组合，同时还能够去重。
[0006]图2示出了根据一些实现方式的对象树结构的示例格式。
[0007]图3是示出根据一些实现方式的用于分配存储的示例过程的流程图。
[0008]图4示出了根据一些实现方式的用于释放存储的示例过程。
[0009]图5示出了根据一些实现方式的基于所存储的数据的组合来节省存储容量的示例。
[0010]图6示出了根据一些实现方式的基于元数据DS和数据的组合来节省存储容量的示
例。
[0011]图7示出了根据一些实现方式的包括对组合的数据进行去重的示例。
[0012]图8示出了根据一些实现方式的基于所存储的数据的组合来节省存储容量的示例。
具体实施方式
[0013]本文的一些实现方式可以减少固定块大小的文件系统中浪费的存储容量的量。例如，文件系统可以在文件系统自由空间位图中采用引用计数，以允许来自多个不同的小数据文件的数据被组合到单个文件系统块中。类似地，多个不同的小元数据数据结构(元数据DS)可以被组合到单个文件系统块中。另外，一些示例可以将文件数据与其他不相关的文件数据组合到单个文件系统块中，并且可以将元数据与其他不相关的元数据组合到单个文件系统块中。因此，本文的实现方式可以实现比常规方案更高的数据密度，同时还使组合的文件数据能够被去重以实现额外的存储容量节省。
[0014]本文的示例可以减少文件系统中浪费的空间的量，因此可以使用较少的总存储容量来存储相同量的数据。此外，因为使用较少的文件系统块，所以可以减少文件系统寻找空闲块所执行的工作量，从而提高了文件系统的文件服务性能，例如，有效地提高了吞吐量并减少了延迟。另外，由于所使用的文件系统空间的量被减少，因此较少的数据可以被写入用于存储文件系统的底层存储系统，这样减少了存储系统上的负载，从而提高了存储系统的性能。
[0015]出于讨论的目的，在与一个或多个存储装置和一个或多个客户端设备通信的一个或多个计算设备的环境中描述了一些示例实现方式。然而，本文的实现方式不限于所提供的特定示例，而是可以扩展到其他类型的计算系统、其他类型的存储环境、其他系统架构等，根据本文的公开内容，这对于本领域技术人员来说将是清楚的。
[0016]图1示出了根据一些实现方式的系统100的示例架构，该系统100被配置为能够对元数据数据结构(元数据DS)和对象数据进行组合，同时还能够去重。系统100包括能够与一个或多个存储装置108通信的一个或多个服务计算设备102。(一个或多个)服务计算设备102可以向一个或多个客户端设备114提供处理能力和存储访问。在多个服务计算设备102的情况下，服务计算设备102通常可以通过专用网络、高速互连和/或其他合适的高速联网技术(未在图1中示出)彼此连接。例如，系统100可以允许通过可以在(一个或多个)服务计算设备102上运行的各种前端协议进行外部访问。访问的形式可以通过NAS协议、块协议、基于对象的协议和/或其他标准协议和/或专有协议。
[0017]如图1所示，(一个或多个)服务计算设备102可以通过一个或多个存储网络110与(一个或多个)存储装置108通信或以其他方式与(一个或多个)存储装置108耦合。此外，(一个或多个)服务计算设备102可能能够通过一个或多个客户端侧网络112与一个或多个客户端设备114(例如，用户设备或可以访问(一个或多个)服务计算设备102的其他设备)通信。因此，(一个或多个)服务计算设备102可以存储和管理用于客户端设备114的数据，并且可以作为统一的存储服务呈现给客户端设备114。
[0018]在一些示例中，(一个或多个)服务计算设备102可以包括多个物理服务器或可以以任何数量的方式体现的其他类型的计算设备。例如，在服务器的情况下，模块、程序、其他
功能组件和一部分数据存储可以在服务器上实现，诸如在服务器集群中实现，例如在服务器场或数据中心、云托管的计算服务等处实现，但是可以附加地或替代地使用其他计算机架构。在所示的示例中，每个服务计算设备102包括一个或多个处理器116、一个或多个通信接口118和一个或多个计算机可读介质120，或者可以与其相关联。此外，虽然提供了对一个服务计算设备102的描述，但是其他服务计算设备102(如果包括的话)可以具有相同或相似的硬件和软件配置和组件。
[0019]每个处理器116可以是单个处理单元或多个处理单元，并且可以包括单个或多个计算单元或多个处理核。(一个或多个)处理器116可以作为一个或多个中央处理单元、微处理器、微型计算机、微控制器、数字信号处理器、状态机、逻辑电路和/或基于操作指令操纵信号的任何设备来实现。例如，(一个或多个)处理器116可以是专门被编程或配置为执行本文描述的算法和过程的任何合适类型的一个或多个硬件处理器和/或逻辑电路。(一个或多个)处理器116可以被配置为获取和执行存储在计算机可读介质120中的计算机可读指令，其可以对(一个或多个)处理器116进行编程以本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，其包括：至少一个计算设备，所述至少一个计算设备包括一个或多个处理器，所述一个或多个处理器被配置为执行用于存储文件数据和所述文件数据的元数据的操作，所述元数据包括根元数据数据结构(DS)，所述操作包括：将多个根元数据DS一起存储到组合根元数据DS文件系统块中，所述多个根元数据DS包括第一根元数据DS；在数据文件系统块中至少存储由所述第一根元数据DS引用的第一文件数据和由第二根元数据DS引用的第二文件数据，所述第二根元数据DS被存储在所述组合根元数据DS中或另一个组合根元数据DS中；至少基于由所述第一根元数据DS引用的所述第一文件数据和由所述第二根元数据DS引用的所述第二文件数据，来确定所述数据文件系统块的引用计数；确定具有与所述第一文件数据的内容匹配的内容的第三文件数据，所述第三文件数据由第三根元数据DS引用；更新所述第三根元数据DS以引用所述第一文件数据；以及基于更新所述第三根元数据DS，来更新所述数据文件系统块的所述引用计数。2.根据权利要求1所述的系统，所述操作还包括：当存储新根元数据DS时，确定所述组合根元数据DS文件系统块是否具有足够的存储空间用于所述新根元数据DS；当所述组合根元数据DS文件系统块具有足够的存储空间时，将所述新根元数据DS存储到所述组合根元数据DS文件系统块中；以及当所述组合根元数据DS文件系统块的存储空间不足时，将所述新根元数据DS存储到新组合根元数据DS文件系统块中。3.根据权利要求1所述的系统，其中，确定所述组合根元数据DS文件系统块是否具有足够的存储空间用于所述新根元数据DS的操作包括：访问位图以确定所述组合根元数据DS文件系统块的引用计数。4.根据权利要求1所述的系统，其中，所述操作响应于写入请求而自动执行。5.根据权利要求1所述的系统，其中，所述第一根元数据DS和所述第二根元数据DS被包括在相同的组合根元数据DS文件系统块中。6.根据权利要求1所述的系统，其中，当另一个根元数据DS文件系统块中的另一个根元数据DS引用所述文件数据文件系统块中的文件数据时，使所述文件数据文件系统块的所述引用计数递增。7.根据权利要求1所述的系统，其还包括：将中间元数据DS与其他中间元数据DS一起存储到组合中间元数据DS文件系统块中。8.根据权利要求7所述的系统，所述操作还包括：当存储新中间元数据DS时，确定所述组合中间元数据DS文件系统块是否具有足够的存储空间用于所述中间元数据DS；当所述组合中间元数据DS文件系统块具有足够的存储空间时，将所述中间元数据DS存储到现有组合中间元数据DS文件系统块中；以及当所述组合中间元数据DS文件系统块的存储空间不足时，将所述中间元数据DS存储到
新组合中间元数据DS文件系统块中。9.根据权利要求1所述的系统，其中，所述组合中间元数据DS文件系统块中的第一中间元数据DS引用所述组合中间元数据DS文件系统块中的第二中间元数据DS。10.根据权利要...

【专利技术属性】
技术研发人员：乔纳森，
申请(专利权)人：日立数据管理有限公司，
类型：发明
国别省市：