分布式文件系统的写方法、客户端设备及分布式文件系统技术方案

本发明专利技术实施例提供的分布式文件系统的写方法、客户端设备及分布式文件系统，通过将多个待写文件存储到客户端设备的缓存区中，可以实现待写文件的汇集。本发明专利技术在预设执行时间周期对应的执行时刻到达时，同时对缓存区中存储时间大于预设时间阈值的多个待写文件执行文件写入操作，可以将多个待写文件并行写入相应地址中。由于本发明专利技术在同一时刻下传输的数据较多，因此本发明专利技术可以有效提高分布式文件系统在进行文件写入时的吞吐量。同时，由于本发明专利技术对多个待写文件进行同时写入，因此写入时占用通信网络的时间较短，减少了对通信网络的长时间占用情况。

【技术实现步骤摘要】

本专利技术涉及分布式文件系统
，特别是涉及分布式文件系统的写方法、客户端设备及分布式文件系统。
技术介绍
分布式文件系统(Distributed File System)是一种基于客户机/服务器模式的文件管理系统，其中，分布式文件系统中的客户机即为客户端设备，分布式文件系统中的服务器包括网络侧的存储服务器。分布式文件系统中的数据可以存储在存储服务器中，客户端设备通过网络与存储服务器连接，对存储服务器进行读写等操作。分布式文件系统中的客户端设备在进行写操作时，每次接收到对待写文件的写操作指令后，即执行该写操作指令，将待写文件写入相应的地址中。但是，每个写操作指令所要写入的待写文件的数据量较小，而客户端设备与物理存储资源之间的网络带宽较大。这就导致每个写操作指令被执行时，客户端设备与存储服务器之间仅传输很小的数据，导致分布式文件系统的吞吐量较低。同时，由于每次进行写操作时都要占用通信网络，因此现有的分布式文件系统的写方法对通信网络的占用时间也比较长。
技术实现思路
本专利技术实施例的目的在于提供分布式文件系统的写方法、客户端设备及分布式文件系统，以实现提高吞吐量，减少对通信网络的占用时间的目的。为达到上述目的，本专利技术实施例公开了一种分布式文件系统的写方法，所述分布式文件系统至少包括客户端设备和存储服务器，其中，所述客户端设备与存储服务器通信连接，所述写方法应用于客户端设备，所述方法包括:接收对待写文件的写操作指令；在接收到所述写操作指令后，将所述待写文件存储到所述客户端设备的缓存区中；判断当前时刻是否到达与预设执行时间周期对应的多个执行时刻中的一个执行时刻，如果是，则同时对所述缓存区中存储时间大于预设时间阈值的多个待写文件执行文件写入操作，将所述多个待写文件并行写入到所述存储服务器中。优选的，所述同时对所述缓存区中存储时间大于预设时间阈值的多个待写文件执行文件写入操作，将所述多个待写文件并行写入到所述存储服务器中，包括:获取所述缓存区中存储时间大于预设时间阈值的多个待写文件中各待写文件对应的写入地址，所述写入地址位于所述存储服务器中；同时对所述多个待写文件执行写操作，将所述多个待写文件中的各待写文件并行写入到对应的写入地址中。优选的，所述获取所述缓存区中存储时间大于预设时间阈值的多个待写文件中各待写文件对应的写入地址，包括:获取各个所述待写文件在所述缓存区内的存储时间；确定所述存储时间大于预设时间阈值的多个待写文件；获得所述多个待写文件中各待写文件对应的写入地址。优选的，所述分布式文件系统中还包括元数据服务器，其中，所述客户端设备与所述元数据服务器通信连接，且所述客户端设备本地存储有从所述元数据服务器获得的元数据信息；所述获得所述多个待写文件中各待写文件对应的写入地址，包括:获取所述多个待写文件中各待写文件的标识；如果所述客户端设备本地存储有与所述标识对应的元数据信息，则以所述客户端设备本地存储的元数据信息为依据确定具有相应标识的待写文件的写入地址。优选的，在所述客户端设备本地未存储有与所述标识对应的元数据信息时，所述方法还包括:向所述元数据服务器发送元数据信息获取请求，所述请求中携带有待写文件的标识；获得所述元数据服务器返回的与待写文件对应的元数据信息并将所获得的元数据信息存储在所述客户端设备本地，以所获得的元数据信息为依据确定具有相应标识的待写文件的写入地址。优选的，所述同时对所述多个待写文件执行写操作，将所述多个待写文件中的各待写文件并行写入到对应的写入地址中，包括:同时对所述多个待写文件中的各待写文件进行如下处理:建立所述客户端设备到待写文件对应的写入地址的链接；通过所建立的链接，将该待写文件写入所对应的写入地址中。优选的，所获取的多个待写文件中各待写文件对应的写入地址为由具有拓扑排序的多个写入地址构成的地址链，所述建立所述客户端设备到待写文件对应的写入地址的链接，包括:建立所述客户端设备到待写文件对应的地址链中拓扑排序为第一的写入地址的链接；所述通过所建立的链接，将该待写文件写入所对应的写入地址中，包括:通过所建立的链接，将该待写文件写入所述拓扑排序为第一的写入地址中，以使所述存储服务器对该待写文件进行备份，将该待写文件备份到所述地址链的后续写入地址中。优选的，所述预设执行时间周期为1秒，所述预设时间阈值为1秒。优选的，所述待写文件的标识包括:文件编号和文件块编号。一种分布式文件系统中的客户端设备，所述分布式文件系统至少包括客户端设备和存储服务器，其中，所述客户端设备与存储服务器通信连接，所述客户端设备包括:写指令接收单元、文件存储单元、时刻判断单元和同时写入单元；所述写指令接收单元，用于接收对待写文件的写操作指令；所述文件存储单元，用于在接收到所述写操作指令后，将所述待写文件存储到所述客户端设备的缓存区中；所述时刻判断单元，用于判断当前时刻是否到达与预设执行时间周期对应的多个执行时刻中的一个执行时刻，如果是，则触发所述同时写入单元；所述同时写入单元，用于同时对所述缓存区中存储时间大于预设时间阈值的多个待写文件执行文件写入操作，将所述多个待写文件并行写入到所述存储服务器中。优选的，所述同时写入单元，包括:地址获取单元和写操作单元，所述地址获取单元，用于获取所述缓存区中存储时间大于预设时间阈值的多个待写文件中各待写文件对应的写入地址，所述写入地址位于所述存储服务器中；所述写操作单元，用于同时对所述多个待写文件执行写操作，将所述多个待写文件中的各待写文件并行写入到对应的写入地址中。优选的，所述地址获取单元包括:存储时间获取子单元、待写文件确定子单元和写入地址获得子单元，所述存储时间获取子单元，用于获取各个所述待写文件在所述缓存区内的存储时间；所述待写文件确定子单元，用于确定所述存储时间大于预设时间阈值的多个待写文件；所述写入地址获得子单元，用于获得所述多个待写文件中各待写文件对应的写入地址。优选的，所述分布式文件系统中还包括元数据服务器，其中，所述客户端设备与所述元数据服务器通信连接，且所述客户端设备本地存储有从所述元数据服务器获得的元数据信息；所述写入地址获得子单元，包括:文件标识获取子单元和第一地址确定子单元，所述文件标识获取子单元，用于获取所述多个待写文件中各待写文件的标识；所述第一地址确定子单元，用于在所述客户端设备本地存储有与所述标识对应的元数据信息时，以所述客户端设备本地存储的元数据信息为依据确定具有相应标识的待写文件的写入地址。优选的，所述写入地址获得子单元，还包括:元数据请求子单元、元数据存储子单元和第二地址确定子单元，所述元数据请求子单元，用于在所述客户端设备本地未存储有与所述标识对应的元数据信息时，向所述元数据服务器发送元数据信息获取请求，所述请求中携带有待写文件的标识；所述元数据存储子单元，用于获得所述元数据服务器返回的与待写文件对应的元数据信息并将所获得的元数据信息存储在所述客户端设备本地；所述第二地址确定子单元，用于以所获得的元数据信息为依据确定具有相应标识的待与文件的与入地址。优选的，所述写操作单元，包括:链接建立单元和文件写入单元，所述链接建立单元，用于同时对所述多个待写文件中的各待写文件进行如下处理:建立所述客户端设备到待写文件对应的写入地址的链本文档来自技高网...

【技术保护点】
一种分布式文件系统的写方法，其特征在于，所述分布式文件系统至少包括客户端设备和存储服务器，其中，所述客户端设备与存储服务器通信连接，所述写方法应用于客户端设备，所述方法包括：接收对待写文件的写操作指令；在接收到所述写操作指令后，将所述待写文件存储到所述客户端设备的缓存区中；判断当前时刻是否到达与预设执行时间周期对应的多个执行时刻中的一个执行时刻，如果是，则同时对所述缓存区中存储时间大于预设时间阈值的多个待写文件执行文件写入操作，将所述多个待写文件并行写入到所述存储服务器中。

【技术特征摘要】

【专利技术属性】
技术研发人员：张灿群，
申请(专利权)人：北京金山云网络技术有限公司，北京金山云科技有限公司，
类型：发明
国别省市：北京;11