【技术实现步骤摘要】
本申请涉及通信，尤其涉及一种数据访问方法及相关设备。
技术介绍
1、在网络附属存储(network attached storage，nas)领域，计算节点一般通过服务器消息块(server message block，smb)、网络文件系统(network file system，nfs)等标准协议访问存储集群(例如分布式存储系统)上的数据。为了追求更高的存储访问性能，业界引入一种私有客户端技术，私有客户端也可称为分布式并行客户端(distributedparallel client，dpc)，通过将dpc部署在计算节点上，dpc提供高标准接口给计算节点上的应用使用，在不修改计算节点上的应用的情形下，获得相对于标准协议更高性能的存储访问能力。
2、如图1所示，存储集群中的节点一般可以分为两种类型：一类为服务节点，主要用于提供语义服务、处理计算节点的输入输出(input output，io)请求、组织数据和元数据布局等；另一类为存储节点，主要用于提供数据持久化能力，可将服务节点布局好的数据和元数据写入磁盘进行存储。以计算节点将文件写入至存储集群为例，dpc先将写请求和文件发送至服务节点进行处理，服务节点对文件元数据进行组织布局后，再将文件元数据和文件数据发送至存储节点进行持久化存储，存储节点最后将文件数据和文件元数据写入至磁盘。从上述io路径可知，文件从计算节点到磁盘，经历了两跳网络，一跳是计算节点到服务节点，另一跳是服务节点到存储节点。然而，服务节点并不对文件数据进行处理，将文件数据先传送至服务节点，再由服务节点传
技术实现思路
1、有鉴于此，有必要提供一种数据访问方法，可减少网络链路上数据带宽不必要的浪费，且可实现快速进行数据寻址。
2、本申请实施例第一方面公开了一种数据访问方法，包括：响应于针对第一文件的访问请求，从集群获取与第一文件对应的分区信息，分区信息包括分区身份标识(identitydocument，id)，集群包括多个存储节点，多个存储节点中的每个存储节点包括至少一个分区，集群中的每个分区具有唯一的分区id；基于分区id确定分区对应的存储节点，及访问分区id确定分区对应的存储节点。
3、采用上述技术方案，计算设备集群包括多个存储节点，每个存储节点划分为一个或多个分区，每个分区具有唯一的分区id，通过获取与访问文件对应的分区id，基于分区id确定分区对应的存储节点并接入至该存储节点进行文件访问，且由于是直接接入存储节点进行文件访问，无需通过计算设备集群的其他节点(例如服务节点)进行中转，减少网络链路上数据带宽不必要的浪费，相比现有技术需要通过查询映射视图进行文件访问，文件的快速访问更快。
4、在一些实施例中，基于所述分区id确定分区对应的存储节点，及访问所述分区id确定分区对应的存储节点，包括：基于分区id编址得到互联网协议(internet protocol，ip)地址；基于ip地址访问分区对应的存储节点。
5、采用上述技术方案，每个存储节点可以基于自身所包含的分区id编址得到对应数量的ip地址，在对计算设备集群进行文件访问时，通过获取与访问文件对应的分区id，对分区id进行编址得到ip地址，进而可以基于编址得到的ip地址接入至对应的存储节点进行文件访问，实现文件的快速访问，相比现有技术需要通过查询映射视图进行文件访问，实现了对现有的计算设备集群的映射视图同步的简化，同时可避免由于映射视图更新失败导致集群存储性能下降的问题。
6、在一些实施例中，多个存储节点包括第一存储节点，若第一存储节点包括n个分区，第一存储节点具有与n个分区对应的n个ip地址，n个ip地址基于n个分区的分区id编址得到，n为正整数。
7、采用上述技术方案，计算设备集群中的每个存储节点均可以基于自身所包含的分区id编址得到对应数量的ip地址，每个分区id对应一个ip地址，对于计算设备集群中的任意一个存储节点而言，可以基于该存储节点上的任意一个分区id编址得到的ip地址接入至该存储节点进行文件访问。
8、在一些实施例中，第一文件包括数据与元数据，响应于针对第一文件的访问请求，从集群获取与第一文件对应的分区信息，包括：响应于针对第一文件的读请求，从集群获取第一文件的元数据；基于第一文件的元数据得到与第一文件对应的分区信息，分区信息包括数据空间(persistent log，plog)id；对plog id进行解析，得到与第一文件对应的分区id。
9、采用上述技术方案，从计算设备集群读取文件时，可以通过从计算设备集群获取文件的元数据，基于文件的元数据得到与文件对应的plog id，plog是存储节点上的一组按照固定大小管理的物理地址的集合，具有全局统一编址且支持追加写的特点，可以通过使用plog id与偏移量作为文件地址的唯一标识进行文件访问，分区id为plog id的组成部分，通过对plog id进行解析可以得到与文件对应的分区id，进而可以基于分区id编址得到对应的ip地址，并使用编址得到的ip地址接入至对应的存储节点，实现文件的快速访问。
10、在一些实施例中，分区信息还包括偏移量，数据访问方法还包括：将第一文件的读请求及与所述第一文件对应的分区信息发送至分区对应的存储节点，分区对应的存储节点基于plog id与偏移量确定第一文件；接收分区对应的存储节点发送的第一文件。
11、采用上述技术方案，从接入的存储节点读取文件时，可以将文件的读请求及与文件对应的分区信息发送至接入的存储节点，使得接入的存储节点可以响应于文件的读请求，基于plog id与偏移量进行文件寻址并返回寻址得到的文件，实现直接接入存储节点进行文件访问功能，减少网络链路上数据带宽不必要的浪费。
12、在一些实施例中，分区信息包括plog id，响应于针对第一文件的访问请求，从集群获取与第一文件对应的分区信息，包括：响应于针对第一文件的写请求，从集群获取为第一文件分配的plog id；对分配的plog id进行解析，得到与第一文件对应的分区id。
13、采用上述技术方案，在写入文件至计算设备集群时，可以从集群获取为文件分配的plog id，例如，计算设备集群可以分布式负载均衡记载为文件分配plog id，实现计算设备集群的负载均衡，分区id为plog id的组成部分，通过对plog id进行解析可以得到与文件对应的分区id，进而可以基于分区id编址得到对应的ip地址，并使用编址得到的ip地址接入至对应的存储节点，实现文件的快速访问。
14、在一些实施例中，第一文件包括数据与元数据，数据访问方法还包括：基于分配的plogid将第一文件的数据写入至分区对应的存储节点。
15、采用上述技术方案，文件包括数据与元数据，从集群获取到为文件分配的plog id之后，可以基于分配的plog id将文本文档来自技高网...
【技术保护点】
1.一种数据访问方法，其特征在于，所述方法包括：
2.如权利要求1所述的数据访问方法，其特征在于，所述基于所述分区ID确定分区对应的存储节点，及访问所述分区ID确定分区对应的存储节点，包括：
3.如权利要求2所述的数据访问方法，其特征在于，所述多个存储节点包括第一存储节点，若所述第一存储节点包括N个分区，所述第一存储节点具有与所述N个分区对应的N个IP地址，所述N个IP地址基于所述N个分区的分区ID编址得到，N为正整数。
4.如权利要求1至3中任意一项所述的数据访问方法，其特征在于，所述第一文件包括数据与元数据，所述响应于针对第一文件的访问请求，从集群获取与所述第一文件对应的分区信息，包括：
5.如权利要求4所述的数据访问方法，其特征在于，所述分区信息还包括偏移量，所述方法还包括：
6.如权利要求1至3中任意一项所述的数据访问方法，其特征在于，所述分区信息包括plog ID，所述响应于针对第一文件的访问请求，从集群获取与所述第一文件对应的分区信息，包括：
7.如权利要求6所述的数据访问方法，其特征在于，所述第
8.如权利要求7所述的数据访问方法，其特征在于，所述方法还包括：
9.如权利要求8所述的数据访问方法，其特征在于，所述将更新后的所述第一文件的元数据写入至所述分区对应的存储节点，包括：
10.如权利要求6所述的数据访问方法，其特征在于，所述集群基于所述每个存储节点的剩余资源为所述第一文件分配所述plog ID，所述资源信息包括中央处理器CPU剩余资源、内存剩余资源、磁盘剩余资源、网络带宽剩余资源中的至少一个。
11.如权利要求2或3所述的数据访问方法，其特征在于，所述IP地址为互联网协议第六版IPv6地址。
12.如权利要求11所述的数据访问方法，其特征在于，所述IPv6地址包括地址前缀和接口标识符，所述接口标识符包括用于标识IP地址类型的地址位，所述IP地址类型包括设备地址与分区地址，所述基于所述分区ID编址得到的IP地址为所述分区地址。
13.一种数据访问装置，其特征在于，所述装置包括：
14.一种数据访问方法，其特征在于，所述方法包括：
15.如权利要求14所述的数据访问方法，其特征在于，所述多个存储节点包括第一存储节点，若所述第一存储节点包括所述文件系统的M个目录，所述第一存储节点具有与所述M个目录对应的M个IP地址，所述M个IP地址基于所述M个目录的目录ID编址得到，M为正整数。
16.一种数据访问装置，其特征在于，所述装置包括：
17.一种计算设备集群，其特征在于，包括至少一个计算设备，每个计算设备包括处理器和存储器；
18.一种包含指令的计算机程序产品，其特征在于，当所述指令被计算设备集群运行时，使得所述计算设备集群执行如权利要求1至权利要求12中任一项所述的数据访问方法，或者执行如权利要求14或权利要求15所述的数据访问方法。
19.一种计算机可读存储介质，其特征在于，包括计算机程序指令，当所述计算机程序指令由计算设备集群执行时，所述计算设备集群执行如权利要求1至权利要求12中任一项所述的数据访问方法，或者执行如权利要求14或权利要求15所述的数据访问方法。
...【技术特征摘要】
1.一种数据访问方法，其特征在于，所述方法包括：
2.如权利要求1所述的数据访问方法，其特征在于，所述基于所述分区id确定分区对应的存储节点，及访问所述分区id确定分区对应的存储节点，包括：
3.如权利要求2所述的数据访问方法，其特征在于，所述多个存储节点包括第一存储节点，若所述第一存储节点包括n个分区，所述第一存储节点具有与所述n个分区对应的n个ip地址，所述n个ip地址基于所述n个分区的分区id编址得到，n为正整数。
4.如权利要求1至3中任意一项所述的数据访问方法，其特征在于，所述第一文件包括数据与元数据，所述响应于针对第一文件的访问请求，从集群获取与所述第一文件对应的分区信息，包括：
5.如权利要求4所述的数据访问方法，其特征在于，所述分区信息还包括偏移量，所述方法还包括：
6.如权利要求1至3中任意一项所述的数据访问方法，其特征在于，所述分区信息包括plog id，所述响应于针对第一文件的访问请求，从集群获取与所述第一文件对应的分区信息，包括：
7.如权利要求6所述的数据访问方法，其特征在于，所述第一文件包括数据与元数据，所述方法还包括：
8.如权利要求7所述的数据访问方法，其特征在于，所述方法还包括：
9.如权利要求8所述的数据访问方法，其特征在于，所述将更新后的所述第一文件的元数据写入至所述分区对应的存储节点，包括：
10.如权利要求6所述的数据访问方法，其特征在于，所述集群基于所述每个存储节点的剩余资源为所述第一文件分配所述plog id，所述资源信息包括中央处理器cpu剩余资源、内存剩余资源、磁...
【专利技术属性】
技术研发人员：夏锋，张鹏，
申请(专利权)人：成都华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。