用于数据处理的方法、设备和计算机程序产品技术

本公开的实施例旨提供一种用于数据处理的方法、设备和计算机程序产品。该方法包括响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目。该方法还包括生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系。此外，该方法还包括响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。本公开的实施例能够避免多次更改元数据带来的巨额成本，降低了系统负载和对前端负载的影响。

Methods, equipment and computer program products for data processing

【技术实现步骤摘要】
用于数据处理的方法、设备和计算机程序产品
本公开的实施例总体涉及数据处理，更具体地，涉及一种用于数据处理的方法、设备和计算机程序产品。
技术介绍
弹性云存储器(ElasticCloudStorage，ECS)使用名为存储块(chunk)的特定的磁盘容量管理方法。所有用户数据都存储在存储块而不是文件系统中，它们对下层硬件是透明的并且存储块是共享的。一个对象通常表示为存储到不同存储块的一组数据段并且在一个存储块可以包含多个对象的片段。通过存储块来管理磁盘容量并以仅附加方式在存储块上存储数据，ECS使用户数据对下层磁盘和文件系统保持透明，并且可以轻松地考虑分布式系统实现数据一致性。但是仅仅基于存储块的系统的一个缺点是，在收集碎片时更多的数据碎片和高成本。
技术实现思路
本公开的实施例旨在提供一种用于数据处理的方法、设备和计算机程序产品，以解决现有技术中存在的问题。在本公开的第一方面，提供一种用于数据处理的方法。该方法包括响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目。该方法还包括生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系。此外，该方法还包括响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。在本公开的第二方面，提供一种用于数据处理的设备。所述设备包括至少一个处理器以及与所述至少一个处理器耦合的存储器。所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理单元执行时，使得所述设备执行动作。该动作包括响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目。该动作还包括生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系。此外，该动作还包括响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。在本公开的第三方面，提供一种计算机程序产品，所述计算机程序产品被有形地存储在非瞬态计算机可读介质上并且包括机器可执行指令，所述机器可执行指令在被执行时使机器执行上述第一方面所述的方法的步骤。提供
技术实现思路
部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。
技术实现思路
部分无意标识本公开内容的关键特征或主要特征，也无意限制本公开内容的范围。附图说明通过参考附图阅读下文的详细描述，本公开的实施例的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例而非限制性的方式示出了本公开的若干实施例，其中：图1示出了根据一些实施例的系统100的示意图。图2示出了根据一些实施例的场景的示意图。图3示出了根据一些实施例的场景的示意图。图4能够实施本公开的实施例的示例性系统400的示意图。图5示出了根据本公开的实施例的方法500的流程图。图6示出了根据本公开的实施例的场景的示意图。图7示出了根据本公开的实施例的场景的示意图。图8示出了可以用来实施本公开的实施例的设备800的示意性框图。在各个附图中，相同或对应的标号表示相同或对应的部分。具体实施方式在下文中，将参考附图详细描述本公开的各个示例性实施例。应当注意，这些附图和描述涉及的仅仅是作为示例性的实施例。应该指出的是，根据随后描述，很容易设想出此处公开的结构和方法的替换实施例，并且可以在不脱离本公开要求保护的原理的情况下使用这些替代实施例。应当理解，给出这些示例性实施例仅仅是为了使本领域技术人员能够更好地理解进而实现本公开，而并非以任何方式限制本公开的范围。在此使用的术语“包括”、“包含”及类似术语应该被理解为是开放性的术语，即“包括/包含但不限于”。术语“基于”是“至少部分地基于”。术语“一些实施例”表示“至少一些实施例”；术语“另一实施例”表示“至少一个另外的实施例”。其他术语的相关定义将在下文描述中给出。弹性云存储器(ElasticCloudStorage，ECS)使用名为存储块(chunk)的特定的磁盘容量管理方法。在ECS中，所有用户数据都存储在存储块而不是文件系统中。一个对象通常表示为存储到不同存储块的一组数据段并且在一个存储块可以包含多个对象的片段。图1示出了根据一些实施例的存储器系统100的示意图。如图1所示，系统100可以包括对象层110，存储块层120以及硬件层130。对象层110包括对象111-1,111-2以及111-3。对象111-1的数据分别表示为122，对象111-2的数据可以表示为数据123和数据124以及对象111-3的数据可以表示为数据125。存储块层120例如可以包括多个存储块121-1至121-X。从图1中可以看出，对象111-1的数据122被存储在存储块121-1中，对象111-2的数据123也被存储在存储块121-1中，而对象111-2的数据124被存储在存储块121-2中，以及对象111-3的数据125被存储在存储块121-2中。此外，硬件层130可以包括多个盘(盘131-1至131-4)，盘包括与存储块相对应的物理块133。盘例如可以包括存储块的备份，例如存储块121-1可以在硬件层130中存在3个备份，即块132-1,132-2以及132-3。在图1示出的系统100中，对象的元数据例如可以描述对象的数据的大小以及对象的数据被存储于哪个存储块里。例如，对象111-2的元数据可以被表示为([0,2M)->A/S2,[2M,4M)->B/S3)。该元数据描述了对象111-2的数据123被存储在存储块121-1中(将数据123表示成S2，将存储块121-1表示为A)，而对象111-2的数据124被存储在存储块121-2中的(将数据124表示成S3，将存储块121-2表示为B)。数据123和124可以视作对象111-2的两个数据片段，整个数据可能具有4M的大小，其中数据123是整个数据中的“([0,2M)”，而数据124是整个数据中的“[2M,4M)”。在图1示出的系统100中，对象层仅仅关注存储块，例如关于如何分配物理块，是否被镜像或被EC保护，如何执行恢复，以及在存储块删除后物理块返回的方式等等，都被隐藏在存储块层中。ECS以仅附加方式将数据存储在存储块上。一旦一个存储块充满并被密封，该存储块是不可变的。图2示出了根据一些实施例的场景的示意图。如图2所示，用户覆盖对象111-2，数据123和124并不是分别在存储块121-1和121-2中被重写，而是ECS将数据123和124附加到一个新的存储块121-X。如图2所示，数据123和数据124被写入到存储块121-X。而在原来的存储块121-1和121-2中分别剩下数据123和数据124的碎片123’和124’。此外，对象111-2的元数据更新为([0,2M]->X/S2，[2M，4M)->X/S3)(其将存储块121-X表示为X)。与上本文档来自技高网...

【技术保护点】
1.一种数据存储的方法，包括：/n响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目；/n生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系；以及/n响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。/n

【技术特征摘要】
1.一种数据存储的方法，包括：
响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目；
生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系；以及
响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。


2.根据权利要求1所述的方法，其中生成所述条目包括：
确定存储有所述数据的所述存储位置的标识；
确定所述数据在所述存储位置的存储空间的范围；以及
将所述标识和所述范围相关联以生成所述条目中的所述第一关联关系。


3.根据权利要求1所述的方法，其中生成所述元数据包括：
生成与所述对象相关联的所述条目的索引；以及
通过将所述索引与所述对象相关联地存储来生成所述元数据。


4.根据权利要求1所述的方法，其中更新所述条目包括：
响应于所述数据的所述存储位置被改变，更新所述条目。


5.根据权利要求1所述的方法，还包括：
响应于所述数据失效，移除与所述数据相关联的条目；以及
更新与所述对象相关联的元数据以移除所述条目的信息。


6.一种用于数据处理的设备，包括：
至少一个处理器；以及
与所述至少一个处理器耦合的存储器，所述存储器包含有存储于其中的指令，所述指令在被所述至少一个处理单元执行时，使得所述设备执行动作，所述动作包括：
响应于与对象相关联的数据被存储在存储位置中，生成指示所述数据与所述存储位置之间的第一关联关系的条目；
生成所述对象的元数据，所述元数据指示所述对象与所述条目之间的第二关联关系；以及
响应于所述数据与所述存储位置之间的第一关联关系发生变化，独立于所述元数据而更新所述条目。


7.根据权利要求6所述的设备，其中生成所述条目包括：
确定存储有所述数据的所述存储位置的标识；
确定所述数据在所述存储位置的存储空间的范围；以及
将所述标识和所述范围相关联...

【专利技术属性】
技术研发人员：孙骜，雷璐，孙伟，吴佳磊，滕昱，
申请(专利权)人：伊姆西IP控股有限责任公司，
类型：发明
国别省市：美国;US