一种数据写入方法、装置、数据处理方法、装置及系统制造方法及图纸

本申请公开了一种客户端的数据写入方法、装置及电子设备、一种块数据服务器的数据处理方法、装备及电子设备以及一种分布式文件系统。其中，所述客户端的数据写入方法，包括：向存储对应文件的块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据；在满足需求后，向存储对应文件的所有块数据服务器并行发送执行提交操作的请求。采用上述方法解决了写文件和提交的延迟非常高，代价太大的问题，使每个块数据服务器在相同时间同时将数据写入到本地硬盘中，节约了时间，提高了系统的运算处理速度，从而提升了系统的吞吐率。

Data writing method, device, data processing method, device and system

The present invention discloses a client data writing method, a device and an electronic device, a data processing method, a device and an electronic device for a block data server, and a distributed file system. Among them, the client data writing method, including: additional write requests to the storage block data corresponding to the file server sends the request to carry out; the additional data is written to the file; to meet the demand, to block all data storage corresponding to the file server sends the commit operation request parallel execution. Using the above method to solve the write files and submit the delay is very high, the price is too high, so that each piece of data at the same time at the same time the server to write data to the local hard disk, save time, improve the processing speed of the system, so as to enhance the system throughput.

【技术实现步骤摘要】
一种数据写入方法、装置、数据处理方法、装置及系统
本申请涉及计算机
，具体涉及一种客户端的数据写入方法、一种块数据服务器的数据处理方法、一种分布式文件系统以及一种基于分布式文件系统的数据写入方法；本申请同时涉及一种客户端的数据写入装置及一种电子设备、一种块数据服务器的数据处理装置及另一种电子设备以及一种基于分布式文件系统的数据写入装置。
技术介绍
随着信息技术的发展，存储数据在爆炸式的增长，本地的存储很难满足不断增长的海量存储的需要，加上个人移动计算和企业级的大规模计算对底层存储系统提出更高的要求，人们越来越多的使用分布式文件系统，例如：Google的核心存储平台GFS(googleFileSystem)。以GFS为典型代表的分布式文件系统采用的是服务器/客户端结构，主要组成部分包括主服务器master(元数据服务器)、块数据服务器chunkserver和客户端client，三者之间通过各自的网络协议进行指令和数据通信。GFS采用多文件副本的方式存储文件，即一个文件的数据拥有多个文件副本，分别存储在不同块数据服务器里。当一台或多台块数据服务器意外宕机时，这个文件的数据依然可用。本文档来自技高网...

【技术保护点】
一种客户端的数据写入方法，其特征在于，包括：向存储对应文件的块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据；在满足需求后，向存储对应文件的所有块数据服务器并行发送执行提交操作的请求。

【技术特征摘要】
1.一种客户端的数据写入方法，其特征在于，包括：向存储对应文件的块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据；在满足需求后，向存储对应文件的所有块数据服务器并行发送执行提交操作的请求。2.根据权利要求1所述的客户端的数据写入方法，其特征在于，在所述向存储对应文件的块数据服务器发送执行追加写操作的请求的步骤之前，还包括：向主服务器发送需要写入数据的文件的名称；接收所述主服务器发送的存储对应文件的所有块数据服务器的位置信息。3.根据权利要求2所述的客户端的数据写入方法，其特征在于，在所述接收所述主服务器发送的存储对应文件的所有块数据服务器的位置信息的步骤之后，包括：在本地缓存中存储接收的所述主服务器发送的存储对应文件的所有块数据服务器的位置信息。4.根据权利要求2所述的客户端的数据写入方法，其特征在于，在所述向存储对应文件的块数据服务器发送执行追加写操作的请求的步骤之前，包括：根据网络拓扑结构计算存储对应文件的所有块数据服务器的追加写入顺序。5.根据权利要求4所述的客户端的数据写入方法，其特征在于，在所述向存储对应文件的块数据服务器发送执行追加写操作的请求时，还包括：向所述块数据服务器发送存储对应文件的所有块数据服务器的追加写入顺序。6.根据权利要求1所述的客户端的数据写入方法，其特征在于，在所述向存储对应文件的块数据服务器发送执行追加写操作的请求的步骤之后，包括：接收块数据服务器基于所述数据的状态向所述客户端反馈所述数据的状态信息；向对应的块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据。7.根据权利要求1所述的客户端的数据写入方法，其特征在于，在所述向存储对应文件的所有块数据服务器并行发送执行提交操作的请求的步骤之后，包括：接收各个块数据服务器基于执行提交操作的结果反馈的提交信息；若所述提交信息为失败，则向主服务器发送复制对应的块数据服务器到其他块数据服务器的请求。8.一种客户端的数据写入装置，其特征在于，包括：追加写请求单元，用于向存储对应文件的块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据；提交单元，用于在满足需求后，向存储对应文件的所有块数据服务器并行发送执行提交操作的请求。9.根据权利要求8所述的客户端的数据写入装置，其特征在于，还包括：名称发送单元，用于在所述向存储对应文件的块数据服务器发送执行追加写操作的请求之前，向主服务器发送需要写入数据的文件的名称；位置信息接收单元，用于接收所述主服务器发送的存储对应文件的所有块数据服务器的位置信息。10.根据权利要求9所述的客户端的数据写入装置，其特征在于，还包括：位置信息存储单元，用于在所述接收所述主服务器发送的存储对应文件的所有块数据服务器的位置信息之前，在本地缓存中存储接收的所述主服务器发送的存储对应文件的所有块数据服务器的位置信息。11.根据权利要求9所述的客户端的数据写入装置，其特征在于，还包括：顺序计算单元，用于在所述向存储对应文件的块数据服务器发送执行追加写操作的请求之前，根据网络拓扑结构计算存储对应文件的所有块数据服务器的追加写入顺序。12.根据权利要求11所述的客户端的数据写入装置，其特征在于，所述追加写请求单元，还包括：顺序发送子单元，用于向存储对应文件的块数据服务器发送执行追加写操作的请求时，向所述块数据服务器发送存储对应文件的所有块数据服务器的追加写入顺序。13.根据权利要求8所述的客户端的数据写入装置，其特征在于，还包括：状态信息接收单元，用于向存储对应文件的块数据服务器发送执行追加写操作的请求之后，接收块数据服务器基于所述数据的状态向所述客户端反馈所述数据的状态信息；请求重发单元，用于向对应的块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据。14.根据权利要求8所述的客户端的数据写入装置，其特征在于，还包括：提交信息接收单元，用于向存储对应文件的所有块数据服务器并行发送执行提交操作的请求之后，接收各个块数据服务器基于执行提交操作的结果反馈的提交信息；块数据复制单元，用于若所述提交信息为失败，则向主服务器发送复制对应的块数据服务器到其他块数据服务器的请求。15.一种电子设备，其特征在于，所述电子设备包括：显示器；处理器；存储器，用于存储数据写入程序,所述程序在被所述处理器读取执行时,执行如下操作:向存储对应文件的块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据；在满足需求后，向存储对应文件的所有块数据服务器并行发送执行提交操作的请求。16.一种块数据服务器的数据处理方法，其特征在于，包括：接收客户端或者块数据服务器发送的执行追加写操作的请求；所述请求携带需要追加写入文件的数据；接收客户端发送的执行提交操作的请求；将所述数据进行写入。17.根据权利要求16所述的块数据服务器的数据处理方法，其特征在于，在所述接收客户端或者块数据服务器发送的执行追加写操作的请求时，还包括：接收所述客户端或者块数据服务器发送的存储对应文件的所有块数据服务器的追加写入顺序。18.根据权利要求17所述的块数据服务器的数据处理方法，其特征在于，在所述接收客户端或者块数据服务器发送的执行追加写操作的请求的步骤之后，包括：在存储对应文件的所有块数据服务器的追加写入顺序中获取位于当前块数据服务器之后的块数据服务器的位置，向该块数据服务器发送执行追加写操作的请求；所述请求携带需要追加写入文件的数据。19.根据权利要求16所述的块数据服务器的数据处理方法，其特征在于，在所述接收客户端或者块数据服务器发送的执行追加写操作的请求的步骤之后，包括：判断执行追加写操作的请求中的数据的状态；若所述数据的状态为未收到数据，则基于所述数据的状态向所述客户端反馈所述数据的状态信息；接收所述客户端基于所述数据的状态信息发送的执行追加写操作的请求；所述请求携带需要追加写入文件的数据。20.根据权利要求16所述的块数据服务器的数据处理方法，其特征在于，在所述将所述数据进行写入的步骤之后，包括：向客户端反馈基于执行提交操作的结果的提交信息。21.一种块数据...

【专利技术属性】
技术研发人员：吴洋，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY