一种分布式文件系统及该系统中处理文件数据的方法技术方案

本发明专利技术提供了一种分布式文件系统中处理文件数据的方法，在存储待处理文件数据的数据服务器中对文件数据进行数据处理，节约将待处理数据从存储文件数据的数据服务器传输到客户端所耗费的软件和硬件资源。本发明专利技术的方法包括：控制器接收到客户端发送的访问待处理文件数据的指令后，向客户端返回存储所述待处理文件数据的数据服务器标识信息；当数据服务器接收到客户端发送的文件数据处理指令时，根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端。本发明专利技术还提供了与方法对应的系统。

【技术实现步骤摘要】

本专利技术涉及分布式文件系统
，尤其涉及。
技术介绍
分布式文件系统是将多台计算机上的存储资源整合起来，提供一个全局的命名空间，当访问这个文件系统时，所显示的目录结构是一致的，在系统中通过两类节点:一类为仲裁节点，命名为控制器；另一类为数据节点，用来实际提供存储资源，命名为数据服务器。分布式文件系统通过这两类节点来查找所需的具体文件。但是，现有分布式文件系统中的数据服务器只负责存储，而数据服务器中文件数据的处理方法为:客户端在访问文件后，将文件转移到客户端，由客户端完成文件数据处理，再将处理结果存储于数据服务器上。分布式文件系统中的现有处理方法不仅没有充分利用数据服务器的硬件资源，并且完成文件数据处理时转移文件数据至客户端需要占用系统中的硬件和软件资源用于数据传输。
技术实现思路
为了简化分布式文件系统中文件数据的处理方法，节约用于数据传输的硬件和软件资源，本专利技术提供了 一种分布式文件系统中处理文件数据的方法，该方法包括:控制器接收到客户端发送的访问待处理文件数据的指令后，向客户端返回存储所述待处理文件数据的数据服务器标识信息，其中，所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令；当数据服务器接收到客户端发送的文件数据处理指令时，根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端，其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找，所述程序存储于数据服务器中。在数据服务器根据所述文件数据处理指令执行文件数据的处理，并将处理后的结果数据返回客户端后，该方法进一步包括:当控制器接收到客户端发送的结果数据的存储指令后，为所述结果数据选择一数据服务器，并保存所选择的数据服务器标识信息和所述结果数据的元数据；将所选择的数据服务器标识信息返回给客户端，所选择的数据服务器标识信息用于提供给客户端发送所述结果数据；数据服务器接收客户端发送的所述结果数据并存储。所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个。所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。本专利技术还提供了一种分布式文件系统，该系统包括:控制器、数据服务器和客户端，其中，控制器用于接收客户端发送的访问待处理文件数据的指令；用于向客户端返回数据服务器标识信息，所述数据服务器为存储待处理文件数据的数据服务器，其中，所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令；数据服务器用于接收客户端发送的文件数据处理指令；用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端，其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找，所述程序存储于数据服务器中；客户端用于向控制器发送访问待处理文件数据的指令；用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息；用于向数据服务器发送文件数据处理指令；用于接收数据服务器发送的处理后返回的结果数据。所述控制器包括:访问指令接收单元，用于接收客户端发送的访问待处理文件数据的指令；待处理数据服务器标识信息发送单元，用于向客户端返回数据服务器标识信息，所述数据服务器为存储待处理文件数据的数据服务器，其中，所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令；该系统中数据服务器包括:处理指令接收单元，用于接收客户端发送的文件数据处理指令；文件数据处理单元，用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端，其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找，所述程序存储于数据服务器中；所述客户端包括:访问指令发送单元，用于向控制器发送访问待处理文件数据的指令；待处理数据服务器标识信息接收单元，用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息；文件数据处理指令发送单元，用于向数据服务器发送文件数据处理指令；结果数据接收单元，用于接收数据服务器发送的处理后返回的结果数据。该系统控制器还用于接收客户端发送的存储结果数据的指令；用于为所述结果数据选择一数据服务器，并保存所选择的数据服务器标识信息和所述结果数据的元数据；用于将所选择的数据服务器标识信息返回给客户端，所选择的数据服务器标识信息用于提供给客户端发送所述结果数据；所述客户端还用于向控制器发送存储结果数据的指令；用于接收控制器返回的数据服务器标识信息；用于将所述数据结果发送至数据服务器标识信息指示的数据服务器；所述数据服务器还用于接收客户端发送的所述结果数据并存储。所述控制器包括:存储指令接收单元，用于接收客户端发送的存储结果数据的指令；数据服务器选择单元，用于为所述结果数据选择一数据服务器，并保存所选择的数据服务器标识信息和所述结果数据的元数据；数据服务器标识信息发送单元，用于将所选择的数据服务器标识信息返回给客户端，所选择的数据服务器标识信息用于提供给客户端发送所述结果数据；所述客户端包括:存储指令发送单元，用于向控制器发送存储结果数据的指令；待存储数据服务器标识信息接收单元，用于接收控制器指示的数据服务器标识信息；存储数据结果发送单元，用于将结果数据发送至数据服务器标识信息指示的数据服务器；所述数据服务器包括:接收单元，用于接收客户端发送的所述结果数据；存储单元，用于存储接收到的客户端发送的所述结果数据。 所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个。所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。本专利技术还提供了一种分布式文件系统中处理文件数据的方法，该方法包括:当接收客户端发送的文件数据处理指令时，根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，其中所述查找为数据服务器在其内部存储的文件数据中进行查找，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端。该方法进一步包括:接收客户端发送的所述结果数据并存储。—种分布式文件系统，该系统中数据服务器包括:存储模块，用于存储文件数据；文件数据处理模块，用于当接收客户端发送的文件数据处理指令时，根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端，其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找，所述程序存储于数据服务器中。所述存储模块，还用于接收客户端发送的所述结果数据并存储。所述存储模块包括:接收单元，用于接收客户端发送的所述结果数据；存储单元，用于存储接收到的客户端发送的所述结果数据；所述文件数据处理模块包括:处理指令接收单元，用于接收客户端发送的文件数据处理指令；文件数据处理单元，用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据本文档来自技高网...

【技术保护点】
一种分布式文件系统中处理文件数据的方法，其特征在于，该方法包括：控制器接收到客户端发送的访问待处理文件数据的指令后，向客户端返回存储所述待处理文件数据的数据服务器标识信息，其中，所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令；当数据服务器接收到客户端发送的文件数据处理指令时，根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端，其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找，所述程序存储于数据服务器中。

【技术特征摘要】
1.一种分布式文件系统中处理文件数据的方法，其特征在于，该方法包括: 控制器接收到客户端发送的访问待处理文件数据的指令后，向客户端返回存储所述待处理文件数据的数据服务器标识信息，其中，所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令； 当数据服务器接收到客户端发送的文件数据处理指令时，根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端，其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找，所述程序存储于数据服务器中。2.根据权利要求1所述的方法，其特征在于，在将处理后得到的结果数据返回客户端后，该方法进一步包括: 当控制器接收到客户端发送的结果数据的存储指令后，为所述结果数据选择一数据服务器，并保存所选择的数据服务器标识信息和所述结果数据的元数据； 将所选择的数据服务器标识信息返回给客户端，所选择的数据服务器标识信息用于提供给客户端发送所述结果数据； 数据服务器接收客户端发送的所述结果数据并存储。3.根据权利要求2所述的方法，其特征在于，所述元数据包括文件名称、文件大小、文件的创建时间、文件的访问时间和文件的修改时间中的至少一个。4.根据权利要求2所述的方法，其特征在于，所述数据服务器的标识信息包括数据服务器的因特网协议IP地址。5.一种分布式文件系统，其特征在于，该系统包括:控制器、数据服务器和客户端，其中， 控制器用于接收客户端发送的访问待处理文件数据的指令；用于向客户端返回数据服务器标识信息，所述数据服务器为存储待处理文件数据的数据服务器，其中，所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令； 数据服务器用于接收客户端发送的文件数据处理指令；用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端，其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找，所述程序存储于数据服务器中； 客户端用于向控制器发送访问待处理文件数据的指令；用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息；用于向数据服务器发送文件数据处理指令；用于接收数据服务器发送的处理后返回的结果数据。6.根据权利要求5所述的系统，其特征在于，所述控制器包括: 访问指令接收单元，用于接收客户端发送的访问待处理文件数据的指令； 待处理数据服务器标识信息发送单元，用于向客户端返回数据服务器标识信息，所述数据服务器为存储待处理文件数据的数据服务器，其中，所述数据服务器标识信息用于提供给所述客户端发送文件数据处理指令； 所述数据服务器包括:处理指令接收单元，用于接收客户端发送的文件数据处理指令； 文件数据处理单元，用于根据所述文件数据处理指令中含有的文件数据元数据查找文件数据，由与文件数据处理指令指示的处理类型相符的处理程序对查找出的文件数据进行处理，并将处理后得到的结果数据返回客户端，其中所述查找为数据服务器在数据服务器内部存储的文件数据中进行查找，所述程序存储于数据服务器中； 所述客户端包括: 访问指令发送单元，用于向控制器发送访问待处理文件数据的指令； 待处理数据服务器标识信息接收单元，用于接收控制器返回的存储所述待处理文件数据的数据服务器标识信息； 文件数据处理指令发送单元，用于向数据服务器发送文件数据处理指令； 结果数据接收单元，用于接收数据服务器发送的处理后返回的结果数据。7.根据权利要求5所述的系统，其特征在于，所述控制器还用于接收客户端发送的存储结果数据的指令；用于为所述结果数据选择一数据服务器，并保存所选择的数据服务...

【专利技术属性】
技术研发人员：闫宁，董全武，
申请(专利权)人：北大方正集团有限公司，北京大学，北京北大方正电子有限公司，
类型：发明
国别省市：