一种基于分布式文件系统的数据访问方法和装置制造方法及图纸

本发明专利技术提供了一种基于分布式文件系统的数据访问方法和装置，所述分布式文件系统中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该方法应用于任一客户端设备，包括：预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；接收用户的数据访问请求；确定该数据访问请求的各目标数据块；针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。

A Data Access Method and Device Based on Distributed File System

The invention provides a data access method and device based on distributed file system, in which each network port of each client device is equipped with an independent IP address and each network port of each storage service node is equipped with an independent IP address. The method is applied to any client device, including: pre-based on the IP address of each network port in the client device; And the IP address of each network port in each storage service node, establish the IP connection pool from the client device to the storage service node, receive the user's data access request, determine the target data blocks of the data access request, and request the storage service address of the target data block from the metadata server for each target data block of the data access request, based on the client's data access request. The end device accesses the target data block of the storage service address by accessing the IP link pool of the storage service node where the storage service address is located.

【技术实现步骤摘要】
一种基于分布式文件系统的数据访问方法和装置
本专利技术涉及存储
，特别涉及一种基于分布式文件系统的数据访问方法和装置。
技术介绍
参见图1，图1是现有技术分布式文件系统的架构图，如图1所示，分布式文件系统中包括多个客户端设备、元数据服务器、以及多个存储服务节点。其中，各存储服务节点中有一个或多个磁盘，这些磁盘空间在分布式文件系统中统一编址。现有分布式文件系统的数据访问(包括读数据和写数据)过程如下：用户向客户端发送数据访问请求；客户端接收到上述数据访问请求后，向元数据服务器发送请求得到该数据访问请求的目标数据块所在存储服务地址；客户端对该存储服务地址的目标数据块进行访问。现有对分布式文件系统的整个数据访问过程中，需要多次网络操作，网络吞吐量是整个分布式文件系统的瓶颈。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种基于分布式文件系统的数据访问方法和装置，通过提高分布式文件系统的网络吞吐量，提高对分布式文件系统的访问性能。为了达到上述目的，本专利技术提供了如下技术方案：一种基于分布式文件系统的数据访问方法，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该方法应用于任一客户端设备，包括：预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；接收用户的数据访问请求；从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块；针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。一种基于分布式文件系统的数据访问装置，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该装置应用于任一客户端设备，包括：建立单元，用于预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；接收单元，用于接收用户的数据访问请求；处理单元，用于从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块；用于针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。由上面的技术方案可知，本专利技术中，通过建立客户端设备的所有网口与每个存储服务节点的所有网口之间的IP连接，构成该客户端设备到该存储服务节点的IP连接池，当客户端设备接收到数据访问请求时，向元数据服务器请求该数据访问请求的每一目标数据块的存储服务地址，并利用该客户端到该存储服务地址所在存储服务节点的IP连接池，对该存储服务地址的目标数据块进行访问。可以看出，通过客户端设备和存储服务节点之间建立包括多个IP连接的IP连接池，可以有效提高分布式文件系统的网络吞吐量，进而可以提高对分布式文件系统的访问性能。附图说明图1是现有技术分布式文件系统的架构图；图2是本专利技术实施例基于分布式文件系统的数据访问方法流程图；图3是本专利技术实施例基于分布式文件系统的数据访问装置的结构示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，下面结合附图并据实施例，对本专利技术的技术方案进行详细说明。参见图2，图2是本专利技术实施例基于分布式文件系统的数据访问方法流程图，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该方法应用于任一客户端设备(例如图1中的客户端1)，如图2所示，该方法具体包括以下步骤：步骤201、预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池。本步骤201可以在分布式文件系统启动后执行。后续的步骤202至步骤204则是每接收到一个数据访问请求时执行一次。本步骤201中，将客户端设备中的每个网口与每个存储服务节点中的所有网口均建立IP连接，最终建立该客户端设备的各网口到该存储服务节点中各网口的全连接，假设客户端设备有2个网口，存储服务节点有4个网口，则最重建立的IP连接池中包括2×4＝8个IP连接。本专利技术实施例中，基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池，具体包括：利用该客户端设备中每一网口的IP地址和该存储服务节点中的每一网口的IP地址，建立该客户端设备中该网口与该存储服务节点中的每一网口之间的IP链接；将该客户端设备中所有网口与该存储服务节点中的每一网口之间的IP连接加入到该客户端设备到该存储服务节点的IP连接池。步骤202、该客户端设备接收用户的数据访问请求。步骤203、该客户端设备从元数据服务器获取该数据访问请求的目标数据的起始地址和长度信息，根据该目标数据的起始地址和长度信息将目标数据切分成多个目标数据块。用户的数据访问请求中携带目标数据信息，例如文件名等可供元数据查找目标数据的起始地址和长度的元数据信息。另外，数据访问请求包括读数据请求和写数据请求，当数据访问请求是写数据请求时，还携带有待写入数据信息。该客户端设备可以将目标数据信息发送到元数据服务器，元数据服务器根据目标数据信息可以确定目标数据的起始地址和长度信息，然后将目标数据的起始地址和长度信息返回给该客户端设备。根据该目标数据的起始地址和长度信息将目标数据切分成多个目标数据块的方法具体如下：根据该目标数据的长度，将目标数据按照预设数据块大小(可以与分布式文件系统中的数据块大小相同)分成多个目标数据块，并根据每个目标数据块与该目标数据的起始地址的位置偏移确定该目标数据块的起始地址，基于该目标数据块的起始地址确定该目标数据块标识(id)。这里的数据块id可以是该数据块在整个分布式文件系统中的编号，由于目标数据的起始位置明确，将目标数据按预设数据块大小分成多个目标数据块之后，每个目标数据块的起始位置也是确定的，目标数据块的起始位置则决定了其在分布式文件系统中的编号。步骤204、该客户端设备针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。本专利技术实施例中，向元数据服务器请求该目标数据块所在存储服务地址，即将该目标数据块id发送到元数据服务器，元数据服务器根据该目标数据块id可以确定该目标数据块的存储服务地址(包括存储服务节点id和磁盘id)，存储服务地址表明了该目标数据块位于哪个存储服务节点的哪个磁盘上。本专利技术实施例中，基于该客户端设备到该存储服务地址所在存储服务本文档来自技高网...

【技术保护点】
1.一种基于分布式文件系统的数据访问方法，其特征在于，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该方法应用于任一客户端设备，包括：预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；接收用户的数据访问请求；从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块；针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。

【技术特征摘要】
1.一种基于分布式文件系统的数据访问方法，其特征在于，所述分布式文件系统中包括多个客户端设备、元数据服务器、和多个存储服务节点，其中，每个客户端设备的每一网口配置有独立IP地址，每个存储服务节点的每一网口配置有独立IP地址；该方法应用于任一客户端设备，包括：预先基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池；接收用户的数据访问请求；从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块；针对该数据访问请求的每一目标数据块，向元数据服务器请求该目标数据块所在存储服务地址，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问。2.根据权利要求1所述的方法，其特征在于，基于该客户端设备中各网口的IP地址和每个存储服务节点中的各网口的IP地址，建立该客户端设备到该存储服务节点的IP连接池，包括：利用该客户端设备中每一网口的IP地址和该存储服务节点中的每一网口的IP地址，建立该客户端设备中该网口与该存储服务节点中的每一网口之间的IP链接；将该客户端设备中所有网口与该存储服务节点中的每一网口之间的IP连接加入到该客户端设备到该存储服务节点的IP连接池。3.根据权利要求2所述的方法，其特征在于，从元数据服务器获取该数据访问请求的目标数据的起始地址和长度，根据该目标数据的起始地址和长度将该目标数据切分为多个目标数据块的方法为：将该数据访问请求携带的目标数据信息发送到元数据服务器，接收元数据服务器根据该目标数据信息确定并返回的该目标数据的起始地址和长度信息；根据目标数据的长度信息，将该目标数据按照预设数据块大小分成多个目标数据块，根据每个目标数据块与目标数据的起始地址的偏移确定该目标数据块的起始地址，并基于该目标数据块的起始地址确定该目标数据块的标识id；向元数据服务器请求该目标数据块所在存储服务地址的方法为：将该目标数据块id发送到元数据服务器，接收元数据服务器根据该目标数据块id确定并返回的该目标数据块所在存储服务地址。4.根据权利要求2所述方法，其特征在于，基于该客户端设备到该存储服务地址所在存储服务节点的IP链接池，对该存储服务地址的目标数据块进行访问的方法为：从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接，利用该IP连接对该存储服务地址的目标数据块进行访问。5.根据权利要求4所述的方法，其特征在于，从该客户端设备到该存储服务地址所在存储服务节点的IP连接池中选择一IP连接之后，利用该IP连接对该存储服务地址中的目标数据块进行访问时，如果该IP连接断开，则在该IP连接池中重新选择一未断开的IP连接，利用重新选择的IP连接对该存储服务地址的目标数据块进行访问。6.根据权利要求4或5所述的方法，其特征在于，所述数据访问请求包括写数据请求和读数据请求；利用该IP连接对该存储服务地址的目标数据块进行访问操作，包括：当所述数据访问请求是写数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行写数据操作；当所述数据访问请求是读数据请求时，利用该IP连接对该存储服务地址中的目标数据块进行读数据操作。7.根据权利要求5所述的方法，其特征在于，基于该客户端设备到该存储服务地址所在存储服务节点的IP连接池，对该存储服务地址中的目标数据块进行访问时，如果该IP连接池中的所有IP连接均断开，则基于预设重试次数，重试建立该IP连接池中的所有IP连接。8.一种基于分布式文件系统的数据访问装置，其特征在于，所述分布式文件系统中包括多个客户...

【专利技术属性】
技术研发人员：阳小鲜，刘力，
申请(专利权)人：创新科存储技术有限公司，
类型：发明
国别省市：北京,11