基于分布式文件系统的数据处理方法和服务器技术方案

本发明专利技术提供一种基于分布式文件系统的数据处理方法和服务器，通过接收用于指示所需处理的数据的文件处理命令，查询文件处理命令指示的数据的属性缓存，判断数据对应数据副本的属性缓存与查询到的属性缓存是否相同，若相同，对所述数据副本执行所述文件处理命令指示的所述操作，生成第一操作结果，并向所述第一客户机发送所述第一操作结果，由于预先存储数据的属性缓存，以及预先存储数据对应的数据副本，减少了第一客户机利用网络对服务器进行访问，再通过服务器与第二客户机之间的网络对第二客户机中的包括文件或目录在内的数据进行处理的次数，从而解决在分布式文件系统中，数据处理的性能受到网络状况的影响较大的技术问题。

【技术实现步骤摘要】
基于分布式文件系统的数据处理方法和服务器
本专利技术涉及通信技术，尤其涉及一种基于分布式文件系统的数据处理方法和服务器。
技术介绍
分布式文件系统（DistributedFileSystem），包括服务器和至少两个客户机。服务器设置于云端，通过网络与各个客户机连接，各个客户机之间也可以通过该网络相互进行访问。在分布式文件系统中，第二客户机发表允许第一客户机访问的文件目录，该文件目录所指示的文件的存储位置位于第二客户机所在物理节点上，从而第一客户机通过服务器可对该文件目录下的文件进行包括读操作和写操作在内的处理，以及对该文件目录进行打开和关闭的处理。现有技术中，由于第一客户机利用网络对服务器进行访问，再通过服务器与第二客户机之间的网络对第二客户机中的包括文件或目录在内的数据进行处理，并且往往文件的数据量较大，因此，现有的分布式文件系统中，数据处理的性能受到网络状况的影响较大。
技术实现思路
本专利技术提供一种基于分布式文件系统的数据处理方法和服务器，用于解决在分布式文件系统中，数据处理的性能受到网络状况的影响较大的技术问题。本专利技术的一个方面是提供一种基于分布式文件系统的数据处理方法，包括：服务器接收第一客户机发送的文件处理命令；所述文件处理命令用于指示所需处理的数据、对所述数据所需执行的操作和所述数据所属的第二客户机；所述数据包括文件和文件目录中的至少一个；所述文件目录用于指示所述文件在所述第二客户机中的存储位置；所述服务器查询所述文件处理命令指示的所述数据的属性缓存；所述属性缓存用于指示所述数据的元数据；所述服务器判断所述数据对应数据副本的属性缓存与查询到的属性缓存是否相同；所述数据副本是预先对所述第二客户机中所述数据进行复制获得的；若所述数据对应数据副本的属性缓存与所述查询到的属性缓存相同，所述服务器对所述数据副本执行所述文件处理命令指示的所述操作，生成第一操作结果，向所述第一客户机发送所述第一操作结果。本专利技术的另一个方面是提供一种服务器，设置在分布式文件系统中，包括：接收模块，用于接收第一客户机发送的文件处理命令；所述文件处理命令用于指示所需处理的数据、对所述数据所需执行的操作和所述数据所属的第二客户机；所述数据包括文件和文件目录中的至少一个；所述文件目录用于指示所述文件在所述第二客户机中的存储位置；查询模块，用于查询所述文件处理命令指示的所述数据的属性缓存；所述属性缓存用于指示所述数据的元数据；判断模块，用于判断所述数据对应数据副本的属性缓存与查询到的属性缓存是否相同；所述数据副本是预先对所述第二客户机中所述数据进行复制获得的；第一发送模块，用于若所述判断模块判断的结果为相同，对所述数据副本执行所述文件处理命令指示的所述操作，生成第一操作结果，向所述第一客户机发送所述第一操作结果。本专利技术提供的基于分布式文件系统的数据处理方法和服务器，通过服务器接收用于指示所需处理的数据的文件处理命令，查询文件处理命令指示的数据的属性缓存，判断数据对应数据副本的属性缓存与查询到的属性缓存是否相同，若相同，对所述数据副本执行所述文件处理命令指示的所述操作，生成第一操作结果，并向所述第一客户机发送所述第一操作结果，由于预先存储了数据的属性缓存以及数据对应的数据副本，可以直接在服务器上对数据进行处理，减少了第一客户机利用网络对服务器进行访问，再通过服务器与第二客户机之间的网络对第二客户机中的包括文件或目录在内的数据进行处理的次数，从而解决在分布式文件系统中，数据处理的性能受到网络状况的影响较大的技术问题。附图说明图1为本专利技术一实施例提供的基于分布式文件系统的数据处理方法的流程示意图；图2为本专利技术另一实施例提供的基于分布式文件系统的数据处理方法的流程示意图；图3为本专利技术一实施例提供的服务器的结构示意图；图4为本专利技术另一实施例提供的服务器的结构示意图。具体实施方式图1为本专利技术一实施例提供的基于分布式文件系统的数据处理方法的流程示意图，如图1所示，包括：101、服务器接收第一客户机发送的文件处理命令。其中，文件处理命令用于指示所需处理的数据、对数据所需执行的操作和数据所属的第二客户机；数据包括文件和文件目录中的至少一个；文件目录用于指示文件在第二客户机中的存储位置。102、服务器查询文件处理命令指示的数据的属性缓存。其中，属性缓存用于指示数据的元数据；元数据，包括：数据量、最后修改时间、最后访问时间和创建时间中的至少一个。判断是否预先存储有所述数据的属性缓存，预先存储的所述属性缓存是从所述第二客户机预先获取的；若预先存储有所述属性缓存，确定预先存储的属性缓存的建立时间是否超出第一阈值，若确定预先存储的属性缓存的建立时间未超出所述第一阈值，将所述预先存储的属性缓存作为所述查询到的属性缓存；所述属性缓存的建立时间是从预先获取到所述属性缓存的时刻到当前时刻之间的时间；若预先未存储有所述数据的属性缓存，或者确定所述预先存储的属性缓存的建立时间超出所述第一阈值，则从所述第二客户机获取所述数据的属性缓存，将获取到的所述数据的属性缓存作为所述查询到的属性缓存。103、服务器判断数据对应数据副本的属性缓存与查询到的属性缓存是否相同。其中，数据副本是预先对第二客户机中数据进行复制获得的。104、若相同，服务器对数据副本执行文件处理命令指示的操作，生成第一操作结果，并向第一客户机发送第一操作结果。进一步，本实施例提供的基于分布式文件系统的数据处理方法还包括，若不同，向文件处理命令指示的第二客户机发送文件处理指令，以使第二客户机对文件处理指令指示的数据执行文件处理指令指示的操作，生成第二操作结果；从第二客户机获取第二操作结果，将获取到的所述第二操作结果加入到消息队列中；所述服务器按照先进先出原则处理所述消息队列中的所述第二操作结果；当执行到所述消息队列中的第二操作结果时，所述服务器判断所述消息队列中的第二操作结果加入到所述消息队列中的时间；若所述第二操作结果加入到所述消息队列中的时间超出第二阈值，所述服务器丢弃所述消息队列中的所述第二操作结果；若所述第二操作结果加入到所述消息队列中的时间未超出所述第二阈值，所述服务器向所述第一客户机发送所述第二操作结果。更进一步，在101之前还包括根据第一客户机发送的连接请求，对所述第一客户机进行身份和权限验证，连接请求包括用户名和密码，若验证通过，建立与第一客户机对应的服务进程，所述服务进程用于接收所述第一客户机发送的所述文件处理命令。本实施例中，通过服务器接收用于指示所需处理的数据的文件处理命令，查询文件处理命令指示的数据的属性缓存，判断数据对应数据副本的属性缓存与查询到的属性缓存是否相同，若相同，对数据副本执行文件处理命令指示的操作，生成第一操作结果，并向第一客户机发送第一操作结果，由于预先存储数据的属性缓存，以及预先存储数据对应的数据副本，减少了第一客户机利用网络对服务器进行访问，再通过服务器与第二客户机之间的网络对第二客户机中的包括文件或目录在内的数据进行处理的次数，从而解决在分布式文件系统中，数据处理的性能受到网络状况的影响较大的技术问题。图2为本专利技术另一实施例提供的基于分布式文件系统的数据处理方法的流程示意图，本实施例所提供的基于分布式文件系统的数据处理方法，可应用本文档来自技高网...

【技术保护点】
一种基于分布式文件系统的数据处理方法，其特征在于，包括：服务器接收第一客户机发送的文件处理命令；所述文件处理命令用于指示所需处理的数据、对所述数据所需执行的操作和所述数据所属的第二客户机；所述数据包括文件和文件目录中的至少一个；所述文件目录用于指示所述文件在所述第二客户机中的存储位置；所述服务器查询所述文件处理命令指示的所述数据的属性缓存；所述属性缓存用于指示所述数据的元数据；所述服务器判断所述数据对应数据副本的属性缓存与查询到的属性缓存是否相同；所述数据副本是预先对所述第二客户机中所述数据进行复制获得的；若所述数据对应数据副本的属性缓存与所述查询到的属性缓存相同，所述服务器对所述数据副本执行所述文件处理命令指示的所述操作，生成第一操作结果，向所述第一客户机发送所述第一操作结果。

【技术特征摘要】
1.一种基于分布式文件系统的数据处理方法，其特征在于，包括：服务器接收第一客户机发送的文件处理命令；所述文件处理命令用于指示所需处理的数据、对所述数据所需执行的操作和所述数据所属的第二客户机；所述数据包括文件和文件目录中的至少一个；所述文件目录用于指示所述文件在所述第二客户机中的存储位置；所述服务器查询所述文件处理命令指示的所述数据的属性缓存；所述属性缓存用于指示所述数据的元数据；所述服务器判断所述数据对应数据副本的属性缓存与查询到的属性缓存是否相同；所述数据副本是预先对所述第二客户机中所述数据进行复制获得的；若所述数据对应数据副本的属性缓存与所述查询到的属性缓存相同，所述服务器对所述数据副本执行所述文件处理命令指示的所述操作，生成第一操作结果，向所述第一客户机发送所述第一操作结果；所述服务器查询所述文件处理命令指示的所述数据的属性缓存，包括：所述服务器判断是否预先存储有所述数据的属性缓存；预先存储的所述属性缓存是从所述第二客户机预先获取的；若所述服务器预先存储有所述属性缓存，确定预先存储的属性缓存的建立时间是否超出第一阈值，若确定预先存储的属性缓存的建立时间未超出所述第一阈值，所述服务器将所述预先存储的属性缓存作为所述查询到的属性缓存；所述属性缓存的建立时间是从预先获取到所述属性缓存的时刻到当前时刻之间的时间；若所述服务器预先未存储有所述数据的属性缓存，或者确定所述预先存储的属性缓存的建立时间超出所述第一阈值，则所述服务器从所述第二客户机获取所述数据的属性缓存，将获取到的所述数据的属性缓存作为所述查询到的属性缓存。2.根据权利要求1所述的基于分布式文件系统的数据处理方法，其特征在于，所述基于分布式文件系统的数据处理方法还包括：若所述数据对应数据副本的属性缓存与所述查询到的属性缓存不同，所述服务器向所述文件处理命令指示的所述第二客户机发送所述文件处理指令，以使所述第二客户机对所述文件处理指令指示的所述数据执行所述文件处理指令指示的所述操作，生成第二操作结果；所述服务器从所述第二客户机获取所述第二操作结果；所述服务器向所述第一客户机发送所述第二操作结果。3.根据权利要求2所述的基于分布式文件系统的数据处理方法，其特征在于，所述服务器向所述第一客户机发送所述第二操作结果，包括：所述服务器将获取到的所述第二操作结果加入到消息队列中；所述服务器按照先进先出原则处理所述消息队列中的所述第二操作结果；当执行到所述消息队列中的第二操作结果时，所述服务器判断所述消息队列中的第二操作结果加入到所述消息队列中的时间；若所述第二操作结果加入到所述消息队列中的时间超出第二阈值，所述服务器丢弃所述消息队列中的所述第二操作结果；若所述第二操作结果加入到所述消息队列中的时间未超出所述第二阈值，所述服务器向所述第一客户机发送所述第二操作结果。4.根据权利要求1所述的基于分布式文件系统的数据处理方法，其特征在于，所述接收第一客户机发送的文件处理命令之...

【专利技术属性】
技术研发人员：沃天宇，康俊彬，王聿达，张本龙，马晓航，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：