一种数据处理方法及相关设备技术

本申请实施例公开了一种数据处理方法及相关设备，用于减少客户端在确定目标客户端卷所占用的存储容量时所占用的网络带宽，从而避免网络资源的浪费。该数据处理方法应用于客户端，该客户端包含目标客户端卷，本申请实施例方法包括：确定第一存储节点，该目标客户端卷为待确定已使用存储容量的客户端卷，该第一存储节点存储有第一存储单元的信息，该第一存储单元为该目标客户端卷已占用的存储单元；向该第一存储节点发送该第一存储单元的信息的读取请求，该读取请求包括该第一存储单元数量的读取请求；接收该第一存储节点返回的该第一存储单元的数量；根据该第一存储单元的数量和该第一存储单元的存储容量，生成该目标客户端卷的已使用存储容量。

【技术实现步骤摘要】
一种数据处理方法及相关设备
本申请涉及数据存储领域，尤其涉及一种数据处理方法及相关设备。
技术介绍
进入21世纪，随着互联网的到来，人类在生产和生活中产生的数据呈现指数型地增长。数据与日俱增，需要存储的容量越来越大，单节点和磁盘阵列这些传统的存储技术已经很难满足海量数据存储的需求，集群存储系统以其天然的可扩展性优势被得到广泛的运用，其中包括分布式文件系统。分布式文件系统包括客户端和存储节点，每个存储节点被划分为多个存储单元，通过客户端写入的数据会存储于存储节点的存储单元里。为了方便对存储资源的管理，分布式文件系统中创建多个客户端卷，客户端在写入数据时，会查询与之对应的客户端卷的已使用存储容量。由于每个客户端卷的数据可能分布于N个存储节点的M个存储单元里，客户端需要向N个存储节点共发送M条容量查询信息，根据M各存储单元返回的存储容量信息计算生成客户端卷的已使用存储容量。由于客户端与N个存储节点之间进行M次信息的往返会占用大量的网络带宽，造成网络资源的浪费。
技术实现思路
本申请实施例提供了一种数据处理方法及相关设备，用于减少客户端在确定目标客户端卷所占用的存储容量时所占用的网络带宽，从而避免网络资源的浪费。第一方面，本申请实施例提供了一种数据处理方法，应用于客户端，该客户端包含目标客户端卷，该方法包括：确定第一存储节点，该目标客户端卷为待确定已使用存储容量的客户端卷，该第一存储节点存储有第一存储单元的信息，该第一存储单元为该目标客户端卷已占用的存储单元；向该第一存储节点发送该第一存储单元的信息的读取请求，该读取请求包括该第一存储单元数量的读取请求；接收该第一存储节点返回的该第一存储单元的数量；根据该第一存储单元的数量和该第一存储单元的存储容量，生成该目标客户端卷的已使用存储容量。第二方面，本申请实施例提供了一种数据处理方法，应用于第一存储节点，该第一存储节点存储有第一存储单元的信息，该第一存储单元为目标客户端卷已占用的存储单元，该方法包括：接收客户端发送的该第一存储单元的信息的读取请求，该客户端包含该目标客户端卷，该读取请求包含该第一存储单元数量的读取请求；获取该第一存储单元的数量；向该客户端发送该第一存储单元的数量，以使该客户端根据该第一存储单元的数量和该第一存储单元的容量计算该目标客户端卷已使用的存储容量。第三方面，本申请实施例提供了一种客户端，该客户端包含目标客户端卷，该客户端包括：确定单元，用于确定第一存储节点，该目标客户端卷为待确定已使用存储容量的客户端卷，该第一存储节点存储有第一存储单元的信息，该第一存储单元为该目标客户端卷已占用的存储单元；发送单元，用于向该第一存储节点发送该第一存储单元的信息的读取请求，该读取请求包括该第一存储单元数量的读取请求；接收单元，用于接收该第一存储节点返回的该第一存储单元的数量；生成单元，用于根据该第一存储单元的数量和该第一存储单元的存储容量，生成该目标客户端卷的已使用存储容量。第四方面，本申请实施例提供了一种存储节点，该存储节点为第一存储节点，该第一存储节点存储有第一存储单元的信息，该第一存储单元为目标客户端卷已占用的存储单元，该存储节点包括：接收单元，用于接收客户端发送的该第一存储单元的信息的读取请求，该客户端包含该目标客户端卷，该读取请求包含该第一存储单元数量的读取请求；获取单元，用于获取该第一存储单元的数量；发送单元，用于向该客户端发送该第一存储单元的数量，以使该客户端根据该第一存储单元的数量和该第一存储单元的容量计算该目标客户端卷已使用的存储容量。第五方面，本申请实施例提供了一种终端，该终端包括：处理器和存储器，该存储器中存储有前述第一方面所述的数据处理的指令；该处理器用于执行存储器中存储的数据处理的指令，执行如前述第一方面所述的数据处理方法的步骤。第六方面，本申请实施例提供了一种存储节点，该终端包括：处理器和存储器，该存储器中存储有前述第二方面所述的数据处理的指令；该处理器用于执行存储器中存储的数据处理的指令，执行如前述第二方面所述的数据处理方法的步骤。第七方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有数据处理的指令，当其在计算机上运行时，使得计算机执行前述第一方面所述的数据处理方法的步骤。第八方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质中存储有数据处理的指令，当其在计算机上运行时，使得计算机执行前述第一方面所述的数据处理方法的步骤。从以上技术方案可以看出，本申请实施例具有以下优点：第一存储节点上存储有目标客户端卷占用的第一存储单元的信息，当需要获知目标客户端卷已使用的存储容量时，仅需要向第一存储节点发送目标客户端卷占用的第一存储单元数量的读取请求，并接收该第一存储节点返回的第一存储单元的数量，由于每个存储单元的数量大小一致，客户端在获得到第一存储单元的数量后，可计算生成目标客户端卷的已使用存储容量。本方案中客户端仅需与第一存储节点间进行一次信息的往返，节省了大量的网络带宽，避免了网络资源的浪费；此外，本方案中客户端无需与N个存储节点之间进行M次信息的往返，节省了多次信息往返的时间，提高了对目标客户端卷的存储容量进行计算的效率。附图说明图1为本申请实施例提供的数据处理方法的网络架构示意图；图2为本申请实施例提供的数据处理方法的一种流程示意图；图3为本申请实施例提供的数据处理方法的另一种流程示意图；图4为本申请实施例提供的数据处理方法的又一种流程示意图；图5为本申请实施例提供的客户端的一种结构示意图；图6为本申请实施例提供的存储节点的一种结构示意图；图7为本申请实施例提供的终端的一种结构示意图；图8为本申请实施例提供的存储节点的又一种结构示意图。具体实施方式本申请实施例提供了一种数据处理方法，用于减少客户端在确定目标客户端卷所占用的存储容量时所占用的网络带宽，从而避免网络资源的浪费。本申请实施例还提供了相应的客户端、存储节点、终端及计算机可读存储介质。以下分别进行详细说明。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。如图1所示，本申请应用于分布式文件系统，该分布式文件系统至少包括客户端10和存储节点30，虽然图1中仅显示了一个客户端和三个存储节点，但应当理解，图1中所示仅为方便理解本方案，客户端10和存储节点30均可以为多个，具体客户端10和存储节点30的数量应根据实际需要灵活设定，此处不做限定。本申请实施例中，客户端10用于接收用户写入的数据，将该数据发送至存储节点30，以将数据写入存储节点30，还用于向存储节点30发送数据读取指令，以获取存储节点30中存储的数据，并向用户展示客户端卷。存储节点30用于接收客户端10发送的数据，并存储该数据，还用于接收客户端10发送的数据读取指令，并向客户端10返回其存储的数据。客户端10通过网络20与存储节点20通信连接。其中，客户端10可以为终端。其中，终端可以为计算机、平板电脑、PDA(PersonalDigitalAss本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于客户端，所述客户端包含目标客户端卷，所述方法包括：确定第一存储节点，所述目标客户端卷为待确定已使用存储容量的客户端卷，所述第一存储节点存储有第一存储单元的信息，所述第一存储单元为所述目标客户端卷已占用的存储单元；向所述第一存储节点发送所述第一存储单元的信息的读取请求，所述读取请求包括所述第一存储单元数量的读取请求；接收所述第一存储节点返回的所述第一存储单元的数量；根据所述第一存储单元的数量和所述第一存储单元的存储容量，生成所述目标客户端卷的已使用存储容量。

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于客户端，所述客户端包含目标客户端卷，所述方法包括：确定第一存储节点，所述目标客户端卷为待确定已使用存储容量的客户端卷，所述第一存储节点存储有第一存储单元的信息，所述第一存储单元为所述目标客户端卷已占用的存储单元；向所述第一存储节点发送所述第一存储单元的信息的读取请求，所述读取请求包括所述第一存储单元数量的读取请求；接收所述第一存储节点返回的所述第一存储单元的数量；根据所述第一存储单元的数量和所述第一存储单元的存储容量，生成所述目标客户端卷的已使用存储容量。2.根据权利要求1所述的方法，其特征在于，所述第一存储节点通过位图文件记录所述目标客户端占用的第一存储单元的信息，所述接收所述第一存储节点返回的所述第一存储单元的数量，包括：接收所述第一存储节点返回的目标比特位的数量，所述目标比特位的取值用于指示所述目标客户端卷占用所述第一存储单元；所述生成所述目标客户端卷的已使用存储容量，包括：根据所述目标比特位的数量和所述第一存储单元的容量，生成所述目标客户端卷的已使用存储容量。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：接收第二存储节点发送的第二存储单元的信息，所述第二存储单元为数据写入的存储单元，所述数据为与所述目标客户端卷关联的数据；将所述第二存储单元的信息发送至所述第一存储节点，以使所述第一存储节点根据所述第二存储单元的信息更新所述第一存储单元的信息。4.一种数据处理方法，其特征在于，应用于第一存储节点，所述第一存储节点存储有第一存储单元的信息，所述第一存储单元为目标客户端卷已占用的存储单元，所述方法包括：接收客户端发送的所述第一存储单元的信息的读取请求，所述客户端包含所述目标客户端卷，所述读取请求包含所述第一存储单元数量的读取请求；获取所述第一存储单元的数量；向所述客户端发送所述第一存储单元的数量，以使所述客户端根据所述第一存储单元的数量和所述第一存储单元的容量计算所述目标客户端卷已使用的存储容量。5.根据权利要求4所述的方法，其特征在于，所述第一存储节点通过位图文件记录所述第一存储单元的信息，所述获取所述第一存储单元的数量，包括：遍历所述位图文件，以获取目标比特位的数量，所述目标比特位的取值用于指示所述目标客户端卷占用所述第一存储单元；所述向所述客户端发送所述第...

【专利技术属性】
技术研发人员：穆向东，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41