分布式存储系统技术方案

在分布式存储系统中，预先定义了至少包括三个以上节点的第一节点组。第一节点组的节点分别将在各自管理的存储设备内保存的数据发送至属于第一节点组的其他节点。第一节点使用从第一节点组的两个以上的其他节点接收到的数据的组合来生成冗余码，将上述生成的冗余码保存到与保存生成了上述冗余码的数据的存储设备不同的存储设备内。第一节点所生成的冗余码中的至少两个冗余码的数据组合在所构成的数据的逻辑地址的组合中不同。

Distributed storage system

【技术实现步骤摘要】
分布式存储系统本专利技术申请是国际申请日为2015年9月30日、国际申请号为PCT/JP2015/077853、进入中国国家阶段的国家申请号为201580010284.5、专利技术名称为“分布式存储系统”的专利技术申请的分案申请。
本专利技术涉及分布式存储系统。
技术介绍
虽然IT投资额趋于平稳，但数据量的增大化仍在不断发展。存储的成本降低变得越来越重要了。例如，作为分布式存储系统之一，认为通过网络连接多个通用服务器来生成存储池的ServerSAN(服务器存储区域网)式存储系统会在将来得到普及。尤其是，在为了大规模的大数据分析等而在服务器节点上搭载高速的SSD而想要实现高性能的分析的系统中，认为ServerSAN式存储系统是一种有效的解决方案。作为本
的
技术介绍
，有美国专利7546342号(专利文献1)。在该公报中，记载了“计算与网站相关联的各文件的相对重要度。利用该相对重要度，计算被分配给服务器阵列、对等网络等计算机集群内的多个设备中的内容的多个子集。该子集能够包括通过对包含一个或多个文件的一部分的数据包(packet)使用擦除编码方式而创建的已编码信息。在获取文件时，基于该方式从设备获取固定数量的能够明确识别的已编码信息。文件通过使用该信息而被重新创建。通过多个设备的内容保持，能显著地高速获取网站，任何计算设备都无需大量的存储区域或带宽，可靠性提高。”(参照摘要)。现有技术文献专利文献专利文献1：美国专利7546342号
技术实现思路
以往的ServerSAN式存储系统将分别与服务器节点直连的本地存储设备用作最终保存场所，并通过使写入数据及其冗余数据分布到多个服务器节点来保护数据。具体地，将来自主机的写入数据分割成多个数据块，通过擦除码(ErasureCode)从所分割的数据块中生成冗余码，然后使所分割的数据块和冗余码均匀分布到多个服务器节点。这样，以往的ServerSAN式存储系统使从主机接收到的写入数据分布到多个服务器节点。因此，当应用程序从ServerSAN式存储系统中读取数据时，将数据块在服务器节点之间的网络上传送。因此，网络的吞吐量成为瓶颈，存在对数据的访问延迟比不经由网络时增加的情况。本专利技术的代表性的一例是一种分布式存储系统，其包括多个节点，所述节点包括：处理器，其对保存有数据的卷进行管理，并管理对在所述卷中保存的数据进行的访问；以及存储驱动，其物理保存在所述卷中保存的数据，所述卷对应关联于与该卷为相同的节点或不同的节点的所述存储驱动，在所述卷中保存的数据物理保存于与该卷对应关联的所述存储驱动，所述处理器设定与所述节点的I/O性能相关的访问性能信息，将在所述节点的存储驱动中保存的每个数据的I/O负载作为与所述相同的节点的卷相关的自身系统I/O负载、和与所述不同的节点的卷相关的其他系统I/O负载来进行计算，基于所述自身系统I/O负载以及所述其他系统I/O负载和所述访问性能信息，确定在所述节点保存的数据，基于对所述数据的确定，变更将所述数据向所述卷的分配。专利技术效果根据本专利技术的一种方式，能够在存储系统中同时实现高容量效率和高可靠性。附图说明图1表示分布式存储系统的写处理的概要。图2表示分布式存储系统中的多个保护层的映射图像例。图3表示分布式存储系统的系统结构例。图4表示用于分布式存储系统的控制的信息。图5A表示虚拟卷管理表的结构例。图5B表示池卷管理表的结构例。图5C表示驱动管理表的结构例。图5D表示驱动状态管理表的结构例。图5E表示节点状态管理表的结构例。图5F表示站点状态管理表的结构例。图6A表示页面映射表的结构例。图6B表示页面负载频率表的结构例。图6C表示页面负载分布表的结构例。图7A表示静态映射表的结构例。图7B表示地理(GEO)静态映射表的结构例。图7C表示一致性哈希表(consistenthashingtable)的结构例。图8表示日志构造化映射表的结构例。图9表示本地区域控制表214的结构例。图10表示缓存信息的例子。图11表示站点保护层的映射图像。图12A表示分布式存储系统中的节点的状态转换。图12B表示分布式存储系统中的站点的状态转换。图13表示分布式存储系统的一个节点中的虚拟配置(provisioning)层的逻辑结构例。图14表示分布式存储系统中的多个节点的页面映射的例子。图15表示分布式存储系统的读处理的流程图。图16表示同步写处理的流程图。图17表示异步写处理的流程图。图18表示转储(destage)处理的流程图。图19表示容量耗尽管理的处理的流程图。图20表示容量耗尽管理的处理的概念。图21表示保存重建处理的流程图。图22表示数据再同步处理的流程图。图23表示再配置及再平衡处理的流程图。图24A表示再配置中的自身阈值的决定方法的一例。图24B表示再配置中的自身阈值的决定方法的一例。图25A表示结构变更处理的流程图。图25B表示追加了节点的情况下的条带类型的追加以及条带的再配置的一例。图26表示指令行的管理I/F的一例。图27表示分布式存储系统的GUI的管理I/F的例子。图28表示分布式存储系统的硬件结构例。图29表示在实施方式2中将用于冗余化的节点间的传送高效化的方法。图30表示在实施方式2中将参照图29说明的用于冗余化的节点间的传送高效化的方法中的、数据复原方法。图31表示在实施方式3中分布式存储系统的硬件结构例。图32表示实施方式3的概要。图33表示在实施方式3中为了存储系统的控制而以驱动进行管理的表构造。图34表示在实施方式3中计算机节点与闪存驱动之间的通信接口。图35表示在实施方式3中计算机节点从D驱动中读取最新数据的处理的流程图。图36表示在实施方式3中旧数据的读处理。图37表示在实施方式3中计算机节点向D驱动写入数据的处理的流程图。图38表示在实施方式3中在同步写处理中向各驱动并行地实施了数据的写处理的情况下的处理流程。图39表示在实施方式3中垃圾回收(garbagecollection)处理的流程图。图40表示在实施方式4中分布式存储系统的硬件结构例。图41表示实施方式4的概要。图42表示在实施方式4中计算机节点与驱动之间的通信接口。图43表示实施方式4中的同步写处理的流程图。图44表示实施方式4中的异步写处理的流程图。图45表示实施方式4中的垃圾回收处理的流程图。具体实施方式参照附图对本专利技术的实施方式进行说明。此外，以下说明的实施方式并不限定于权利要求书中涉及的专利技术，另外，在实施方式中说明的特征的组合也并不一定全都是发本文档来自技高网...

【技术保护点】
1.一种分布式存储系统，其包括多个节点，其特征在于，/n所述节点包括：/n处理器，其对保存有数据的卷进行管理，并管理对在所述卷中保存的数据进行的访问；以及/n存储驱动，其物理保存在所述卷中保存的数据，/n所述卷对应关联于与该卷为相同的节点或不同的节点的所述存储驱动，/n在所述卷中保存的数据物理保存于与该卷对应关联的所述存储驱动，/n所述处理器设定与所述节点的I/O性能相关的访问性能信息，/n将在所述节点的存储驱动中保存的每个数据的I/O负载作为与所述相同的节点的卷相关的自身系统I/O负载、和与所述不同的节点的卷相关的其他系统I/O负载来进行计算，/n基于所述自身系统I/O负载以及所述其他系统I/O负载和所述访问性能信息，确定在所述节点保存的数据，/n基于对所述数据的确定，变更将所述数据向所述卷的分配。/n

【技术特征摘要】
20140930 JP PCT/JP2014/0761051.一种分布式存储系统，其包括多个节点，其特征在于，
所述节点包括：
处理器，其对保存有数据的卷进行管理，并管理对在所述卷中保存的数据进行的访问；以及
存储驱动，其物理保存在所述卷中保存的数据，
所述卷对应关联于与该卷为相同的节点或不同的节点的所述存储驱动，
在所述卷中保存的数据物理保存于与该卷对应关联的所述存储驱动，
所述处理器设定与所述节点的I/O性能相关的访问性能信息，
将在所述节点的存储驱动中保存的每个数据的I/O负载作为与所述相同的节点的卷相关的自身系统I/O负载、和与所述不同的节点的卷相关的其他系统I/O负载来进行计算，
基于所述自身系统I/O负载以及所述其他系统I/O负载和所述访问性能信息，确定在所述节点保存的数据，
基于对所述数据的确定，变更将所述数据向所述卷的分配。


2.根据权利要求1所述的分布式存储系统，其特征在于，
还设定与所述节点间的网络性能相关的网络性能信息，
基于所述自身系统I/O负载以及所述其他系统I/O负载、所述访问性能信息和网络性能信息，确定在所述节点保存的数据，
基于对所述数据的确定，变更将所述数据向所述卷的分配。


3.根据权利要求2所述的分布式存储系统，其特征在于，
基于所述数据的所述自身系统I/O负载以及所述其他系统I/O负载和所述访问性能信息，计算在所述节点保存的第一数据量，
基于所述数据的所述自身系统I/O负载以及所述其他系统I/O负载和所述网络性能信息，计算在所述节点保存的第二数据量，
基于所述第一数据量以及所述第二数据量，计算所述节点所保存的数据量。


4.根据权利要求3...

【专利技术属性】
技术研发人员：圷弘明，川村俊二，安永浩太，山本贵大，河村笃志，
申请(专利权)人：株式会社日立制作所，
类型：发明
国别省市：日本;JP