分布式存储系统及分布式存储系统的控制方法技术方案

在具有多个节点的分布式存储系统中，多个节点中的第一节点判定与向多个虚拟部分区域中的由第一节点管理的第一虚拟部分区域写入的第一数据相同的数据是否存在于多个节点中的其他节点管理的虚拟部分区域，在其他节点存在与第一数据相同的数据的情况下，执行跨节点重复数据删除，在该跨节点重复数据删除中，使第一虚拟部分区域和被写入了该相同的数据的其他节点的虚拟部分区域中的某一方的逻辑部分区域的分配变更为向另一方的逻辑部分区域分配。在第一虚拟部分区域的跨节点重复数据删除执行后的第一节点的IO负荷小于第一阈值的情况下，第一节点执行将虚拟存储区域分割得到的多个虚拟部分区域中、由第一节点所管理的第二虚拟部分区域的跨节点重复数据删除。

Distributed storage system and control method for distributed storage system

In a distributed storage system having a plurality of nodes, the first one of the plurality of nodes to determine other node data of the first data is written by the first part of the first virtual node management and to multiple virtual parts of the same in the presence of multiple nodes in the virtual part of the other nodes in the there is the same with the first data under the condition of cross node data deduplication, in duplicate data across nodes in the deleted, the first virtual part of the region and was written into the part of the regional allocation logic of other nodes of the same virtual partition data in one of the changes to the logical part the regional distribution of the other party. In the IO load across nodes repeat data of the first part of the first virtual delete node after the execution is less than the first threshold, the first node performs duplicate data across node second virtual part of multiple virtual parts of the virtual storage area is segmented by the first node, delete management.

【技术实现步骤摘要】
【国外来华专利技术】分布式存储系统及分布式存储系统的控制方法
本专利技术涉及分布式存储系统。
技术介绍
在IT系统中应处理的数据量急剧增大，谋求能够应对该情况的存储装置。作为这样的存储装置，存在分散为多个存储装置地进行数据的处理、保存的分布式存储系统的技术。在为了进行大规模大数据分析等而谋求高性能的分析的系统中，可以认为能够提供可扩展的容量和性能的分布式存储系统是有效的解决方案。另一方面，为了应对激增的数据量，作为节省存储装置的存储区域的技术，存在重复数据删除的技术。作为与分布式存储系统和重复数据删除相关的技术，存在专利文献1。在专利文献1中，构成分布式网络的各分布式服务器在从客户端接收到对保存在其他分布式服务器中的数据的读出请求时，从该其他服务器获取数据，并向客户端响应。另外，重复数据删除管理装置对保存在各分布式服务器中的数据管理哈希值那样的对数据进行识别的唯一ID的数据库。重复数据删除管理装置检索数据库，在与相同的唯一ID对应关联的数据存在阈值以上的数量的情况下，选择将数据删除的分布式服务器，将保存在所选择的分布式服务器中的重复数据删除，由此来进行重复数据删除。现有技术文献专利文献专利文献1:美国专利公报8,572,137号
技术实现思路
在分布式服务器间进行重复数据删除的情况下，当通过重复数据删除而被删除了数据的分布式服务器接收到对已删除的数据的读出请求时，必须从其他分布式服务器获取数据，存在分布式服务器的性能降低的问题，但在专利文献1中，仅将数据的重复数用于可否进行重复数据删除的判断，而没有考虑因分布式服务器间的数据通信的发生而导致的性能下降。分布式存储系统具有彼此连接多个节点，该多个节点分别对数据向由存储介质构成的逻辑存储区域的保存进行控制。多个节点对上位装置提供跨过多个节点分别控制的逻辑存储区域的虚拟存储区域，并对将虚拟存储区域分割得到的多个虚拟部分区域和将逻辑存储区域分割得到的多个部分逻辑存储区域的分配进行管理，多个节点使写入到虚拟存储区域的数据分散地保存到逻辑存储区域中。多个节点中的第一节点判定在多个节点中的其他节点所管理的虚拟部分区域中是否存在与向多个虚拟部分区域中的由第一节点所管理的第一虚拟部分区域写入的第一数据相同的数据，在其他节点存在与第一数据相同的数据的情况下，执行跨节点重复数据删除，在该跨节点重复数据删除中，使第一虚拟部分区域和被写入了该相同的数据的其他节点的虚拟部分区域中的某一方的逻辑部分区域的分配变更为向另一方的逻辑部分区域分配。在第一虚拟部分区域的跨节点重复数据删除执行后的第一节点的IO负荷的预测值小于第一阈值的情况下，第一节点执行将虚拟存储区域分割得到的多个虚拟部分区域中、由第一节点所管理的第二虚拟部分区域的跨节点重复数据删除。专利技术效果根据本专利技术的一方式，能够在通过网络连接多个节点的分布式存储系统中实现了重复数据删除的情况下，实现较大的数据量削减效果和高性能双方。附图说明图1表示与跨节点重复数据删除的执行的判定方法有关的概要。图2表示分布式存储系统的系统构成例。图3表示用于分布式存储系统的控制的信息。图4A表示虚拟卷管理表的构成例。图4B表示池卷管理表的构成例。图4C表示驱动管理表的构成例。图5A表示页映射表的构成例。图5B表示页负荷频率表的构成例。图6A表示虚拟组块(chunk)负荷频率表的构成例。图6B表示逻辑组块负荷频率表的构成例。图7A表示指纹表(FingerprintTable，FPT)的构成例。图7B表示FPT更新日志的构成例。图7C表示重复数据删除效果管理表的构成例。图8表示重复数据删除日志结构化映射表的构成例。图9表示池卷区域控制表的构成例。图10表示分布式存储系统的读处理的流程图。图11表示同步写处理的流程图。图12表示后端写处理的流程图。图13A表示重复数据删除处理的流程图。图13B表示节点重复数据删除处理的流程图。图13C表示跨节点重复数据删除处理的流程图。图13D表示跨节点重复数据删除处理的后续。图13E表示跨节点重复数据删除解除处理的流程图。具体实施方式对于本专利技术的实施方式，参照附图进行说明。另外，以下说明的实施方式不限定权利要求书的专利技术，另外，实施方式中说明的特征的所有组合不限于是专利技术的解决手段所必须的。在以下的说明中，有时通过“表”、“列表”、“队列”等表现来说明各种信息，但各种信息也可以由这些以外的数据构造表现。为了表示不依赖于数据构造，有时将“XX表”、“XX列表”等称为“XX信息”。在说明各信息的内容时，虽然使用“识别信息”、“标识符”、“名”、“ID”、“编号”等表现，但这些表现能够彼此互换。本实施方式公开了能够实现重复数据删除的分布式存储系统。分布式存储系统通过网络连接分别包含存储器件的多个计算机节点而构成。分布式存储系统实现虚拟存储系统，该虚拟存储系统通过多个计算机节点的存储器件而实现存储池(也仅称为池)。在本实施方式中，分布式存储系统向主机提供虚拟卷。分布式存储系统对于有写访问的虚拟存储区域(虚拟卷提供的存储区域)而从池(存储池)分配逻辑存储区域。一个池由一个或多个逻辑卷构成。也将该逻辑卷称为池卷。池卷的实体是磁盘驱动的存储区域。也能够向池卷分配其他计算机节点的磁盘驱动的存储区域。在本实施方式中，分布式存储系统能够对计算机节点中保存的数据进行重复数据删除。通过重复数据删除，当存在某个数据和包含与该数据相同内容的数据(重复数据)时，将一个数据置换为指示另一个数据的指针信息，并将该一个数据删除，由此能够节省用于保存这些数据所需的存储区域。重复数据删除既能够在一个计算机节点内执行，也能够跨多个计算机节点地执行。将前者称为节点重复数据删除，将后者称为跨节点重复数据删除。在要读出已被重复数据删除的数据的情况下，需要根据指针信息来读出该数据的实体(称为特定数据)。在特定数据保存在收到读出请求的计算机节点的情况下，从该计算机节点读出特定数据。另一方面，在特定数据保存在与收到读出请求的计算机节点(称为第一计算机节点)不同的计算机节点(称为第二计算机节点)的情况下，第一计算机节点向第二计算机节点转送读出请求，需要从第二计算机节点经由网络向第一计算机节点转送特定数据。像这样，将为了读出已被重复数据删除的数据而需要从第二计算机节点向第一计算机节点进行数据通信那样的读处理称为重复数据跨节点读取。在本实施方式中，重复数据删除的单位是组块。虚拟组块是用固定长度分割虚拟卷而得到的部分存储区域。逻辑组块是用固定长度分割池卷而得到的部分存储区域。虚拟组块与逻辑组块的大小相等，另外，虚拟组块与逻辑组块的大小与页的大小相等，或者比页的大小小。在计算机节点中管理虚拟组块与逻辑组块之间的映射(通过后述的重复数据删除映射表234管理的映射)。通过对映射自身的更新等来实现节点重复数据删除和跨节点重复数据删除。在本实施方式中，虚拟页是用固定长度分割虚拟卷而得到的部分存储区域，对虚拟页对应关联有某一个计算机节点101(但是，在初始状态下没有对虚拟页对应关联任何计算机节点101)。此外，也可以根据按各计算机节点101对虚拟页的IO频率(也称为I/O频率或访问频率)，将与虚拟页对应关联的计算机节点101变更为向该虚拟页的IO频率最大的计算机节点101。该情况下，虚拟页内的数据(用户数据)被本文档来自技高网...

【技术保护点】
一种分布式存储系统，具有彼此连接的多个节点，该多个节点分别具有存储介质，并对将数据向由所述存储介质构成的逻辑存储区域的保存进行控制，所述分布式存储系统的特征在于，所述多个节点对上位装置提供跨过所述多个节点分别控制的所述逻辑存储区域的虚拟存储区域，并对将所述虚拟存储区域分割得到的多个虚拟部分区域和将所述逻辑存储区域分割得到的多个部分逻辑存储区域的分配进行管理，所述多个节点使写入到所述虚拟存储区域的数据分散地保存到所述逻辑存储区域中，所述多个节点中的第一节点判定：与向所述多个虚拟部分区域中的由所述第一节点所管理的第一虚拟部分区域写入的第一数据相同的数据是否存在于所述多个节点中的其他节点所管理的所述虚拟部分区域中，在所述其他节点中存在与第一数据相同的数据的情况下，执行跨节点重复数据删除，在该跨节点重复数据删除中，使所述第一虚拟部分区域和被写入了所述相同的数据的其他节点的所述虚拟部分区域中的某一方的逻辑部分区域的分配变更为向另一方的逻辑部分区域分配，计算所述第一虚拟部分区域的所述跨节点重复数据删除执行后的所述第一节点的IO负荷的预测值，在所述预测值满足预定的条件的情况下，执行将所述虚拟存储区域分割得到的多个虚拟部分区域中的、由所述第一节点所管理的第二虚拟部分区域的所述跨节点重复数据删除。...

【技术特征摘要】
【国外来华专利技术】1.一种分布式存储系统，具有彼此连接的多个节点，该多个节点分别具有存储介质，并对将数据向由所述存储介质构成的逻辑存储区域的保存进行控制，所述分布式存储系统的特征在于，所述多个节点对上位装置提供跨过所述多个节点分别控制的所述逻辑存储区域的虚拟存储区域，并对将所述虚拟存储区域分割得到的多个虚拟部分区域和将所述逻辑存储区域分割得到的多个部分逻辑存储区域的分配进行管理，所述多个节点使写入到所述虚拟存储区域的数据分散地保存到所述逻辑存储区域中，所述多个节点中的第一节点判定：与向所述多个虚拟部分区域中的由所述第一节点所管理的第一虚拟部分区域写入的第一数据相同的数据是否存在于所述多个节点中的其他节点所管理的所述虚拟部分区域中，在所述其他节点中存在与第一数据相同的数据的情况下，执行跨节点重复数据删除，在该跨节点重复数据删除中，使所述第一虚拟部分区域和被写入了所述相同的数据的其他节点的所述虚拟部分区域中的某一方的逻辑部分区域的分配变更为向另一方的逻辑部分区域分配，计算所述第一虚拟部分区域的所述跨节点重复数据删除执行后的所述第一节点的IO负荷的预测值，在所述预测值满足预定的条件的情况下，执行将所述虚拟存储区域分割得到的多个虚拟部分区域中的、由所述第一节点所管理的第二虚拟部分区域的所述跨节点重复数据删除。2.根据权利要求1所述的分布式存储系统，其特征在于，所述IO负荷指的是跨节点读取的网络负荷、平均响应时间、平均处理能力中的至少一个，所述满足预定的条件指的是，所述跨节点读取的网络负荷低于第一阈值、所述平均响应时间低于第二阈值、所述平均处理能力高于第三阈值中的任一个。3.根据权利要求1所述的分布式存储系统，其特征在于，所述第一节点从所述第一节点保存的数据中的、IO频率低的虚拟部分区域的数据开始依次执行所述跨节点重复数据删除。4.根据权利要求1所述的分布式存储系统，其特征在于，所述第一节点判定所述多个虚拟部分区域中的、由所述第一节点管理的虚拟部分区域间是否存在相同的数据，在存在相同的数据的情况下，执行将所述虚拟部分区域向所述逻辑部分区域的分配集中于一个逻辑部分区域这样的节点重复数据删除，之后，所述第一节点执行所述跨节点重复数据删除。5.根据权利要求1所述的分布式存储系统，其特征在于，所述第一节点在所述第一节点保存的第一数据的重复数据删除了的数量与所述其他节点保存的第二数据的重复数据删除了的数量的合计数小于第二阈值的情况下，执行所述第一数据和所述第二数据的所述跨节点重复数据删除。6.根据权利要求1所述的分布式存储系统，其特征在于，所述第一节点在从所述上位装置接收到对所述第一虚拟部分区域的读出请求时所述第一虚拟部分区域被分配了所述其他节点的所述逻辑部分区域的情况下，从所述其他节点获取与所述读出请求有关的数据，并向所述上位装置发送该获取到的数据。7.根据权利要求6所述的分布式存储系统，其特征在于，所述第一节点在接收到对所述虚拟存储区域的第三虚拟部分区域的第一写入请求时，分配所述多个逻辑部分区域中的第三逻辑部分区域，并将与所述第一写入请求有关的数据向所述第三逻辑部分区域写入，所述第一节点在接收到对第四虚拟部分区域的第二写入请求时，将分配从第一部分逻辑存储区域变更为所述多个逻辑部分区域中的第四逻辑部分区域，将与所述第二写入请求有关的数据写入到所述第四逻辑部分区域。8.一种分布式存储系统的控制方法，所述分布式存储系统具有彼此连接的多个节点，该多个节点分别具有存储介质，并对将数据向由所述存储介质构成的逻辑存储区域的保存进行控制，所述分布式存储系统的控制方法的特征在于，对上位装置提供跨过所述多个节点分别控制的所述逻辑...

【专利技术属性】
技术研发人员：渡边恭男，圷弘明，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本,JP