一种集群系统中文件的管理方法和系统技术方案

本发明专利技术提供一种集群系统中文件的管理方法和系统。所述方法，包括：获取一个写入周期内集群系统中各客户端写入的全部数据块；将得到的数据块集中存储在同一个存储介质中；通过从该存储介质读取数据，实现对客户端上文件的管理。

【技术实现步骤摘要】

本专利技术涉及网络通信领域，尤其涉及一种集群系统中文件的管理方法和系统。
技术介绍
目前，大规模的集群文件系统能为多达数百个客户端提供服务。这些客户端上的文件都保存在一个集群中，如果直接在集群节点上查看文件比较麻烦，特别是对分布式文件系统；如果到具体的客户端节点上查询，无疑也是一项烦琐的工作，因此如何降低管理客户端文件的压力。一个大规模的集群文件系统每天都会产生大量的数据，如果将这些数据收集到一起，这无疑要求很大的存储空间。但是，存储的文件数据中有很多冗余的、重复的数据，这些数据是不需要保存的，因此如何有效的使用存储空间是现有技术中亟待解决的技术问题。
技术实现思路
本专利技术提供一种集群系统中文件的管理方法和系统，要解决的技术问题是如何降低管理压力。为解决上述技术问题，本专利技术提供了如下技术方案一种集群系统中文件的管理方法，包括获取一个写入周期内集群系统中各客户端写入的全部数据块；将得到的数据块集中存储在同一个存储介质中；通过从该存储介质读取数据，实现对客户端上文件的管理。优选的，所述方法还具有如下特点所述将得到的数据块集中存储在同一个存储介质中，包括如果获取到的数据块中至少两个数据块相同，则在所述存储介质上仅保存至少两个数据块中的一个，并获取所述至少两个数据块的编号，配置所述至少两个数据块的编号均指向存储介质上少两个数据块中仅保存的数据块。优选的，所述方法还具有如下特点所述存储介质按照数据块所属的客户端或数据块的写入周期进行分类存储的。优选的，所述方法还具有如下特点所述通过从该存储介质读取数据，实现对客户端上文件的管理，包括当接收到某一客户端本地存储的文件发生损坏时，根据发生损坏的文件的信息，从存储介质上读取发生损坏的文件对应的数据块；根据所述存储介质上发生损坏的文件对应的数据块，对发生损坏的文件进行数据恢复。一种集群系统中文件的管理系统，包括获取装置，用于获取一个写入周期内集群系统中各客户端写入的全部数据块；存储装置，与所述获取装置相连，用于将得到的数据块集中存储在同一个存储介质中；管理装置，与所述存储装置相连，用于通过从该存储介质读取数据，实现对客户端上文件的管理。优选的，所述系统还具有如下特点所述存储装置包括保存模块，用于如果获取到的数据块中至少两个数据块相同，则在所述存储介质上仅保存至少两个数据块中的一个；获取模块，用于获取所述至少两个数据块的编号；配置模块，与所述保存模块和所述获取模块相连，用于配置所述至少两个数据块的编号均指向存储介质上少两个数据块中仅保存的数据块。 优选的，所述系统还具有如下特点所述存储模块按照数据块所属的客户端或数据块的写入周期分类存储数据块。优选的，所述系统还具有如下特点所述管理装置包括读取模块，用于当接收到某一客户端本地存储的文件发生损坏时，根据发生损坏的文件的信息，从存储介质上读取发生损坏的文件对应的数据块；处理模块，与所述读取模块相连，用于根据所述存储介质上发生损坏的文件对应的数据块，对发生损坏的文件进行数据恢复。本专利技术提供的实施例，在大规模集群文件系统中，客户端比较多的情况下，将多有客户端的文件收集到一个存储介质上。这样，管理员就可以不用到每个客户端节点上查询文件，通过查看由客户端同步到存储介质上的文件，实现对客户端文件的管理，不需要逐个查看每一个客户端上文件内容，降低了管理的复杂度，管理起来方面、快捷，同时也起到了多有客户端文件备份的功能。因为从集群文件系统搭建还好开始多所有客户端的文件同步，会保存客户端上所有的文件，也就间接的实现了文件备份的功能。附图说明图I为本专利技术提供的集群系统中文件的管理方法实施例的流程示意图；图2为本专利技术提供的集群系统中文件的管理系统实施例的结构示意图。。具体实施例方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本专利技术作进一步的详细描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。图I为本专利技术提供的集群系统中文件的管理方法实施例的流程示意图。图I所示方法实施例，包括步骤101、获取一个写入周期内集群系统中各客户端写入的全部数据块；具体来说，配置客户端定时上报一个写入周期的数据，这样写入客户端的文件就可依据时间同步到另一个存储介质上。依据更新记录(changelog)信息，changelog中保存了客户端所有发生变化的文件。当文件写入或被修改后，都会被changelog记录,这样就可以将变化的文件复制到存储介质上，实现文件同步。如果集群文件系统一开始就采用这种方法，就会保存客户端所有的文件，起到备份的作用步骤102、将得到的数据块集中存储在同一个存储介质中；其中，所述存储介质按照数据块所属的客户端或数据块的写入周期进行分类存储的。举例来说，如果按照数据块所属的客户端进行分类存储的话，可以方便对特定的客户端进行管理；而相对应的，如果按照数据块的写入周期进行管理，可以方便管理某一特定时间段写入的数据。优选的，如果获取到的数据块中至少两个数据块相同，则在所述存储介质上仅保存至少两个数据块中的一个，并获取所述至少两个数据块的编号，配置所述至少两个数据块的编号均指向存储介质上少两个数据块中仅保存的数据块，从而有效利用存储空间。当进行数据读取时，如果没有读取过程中没有找到对应的该编号的数据块所对应的数据，则获取该数据块的编号在存储介质上所指向的数据块，从从而完成数据的读取。存储介质可以是另一个集群文件系统，也可以是所有客户端能连接的存储盘。存储介质上部署了重复数据删除功能，当在存储介质上检测到重复的数据块时，就是自动删 除重复的数据块，这样就大大地节省了存储空间，存储空间大小不再是存储大文件、大数据的瓶颈。步骤103、通过从该存储介质读取数据，实现对客户端上文件的管理。其中当接收到某一客户端本地存储的文件发生损坏时，根据发生损坏的文件的信息，从存储介质上读取发生损坏的文件对应的数据块；根据所述存储介质上发生损坏的文件对应的数据块，对发生损坏的文件进行数据恢复。本专利技术提供的方法实施例，在大规模集群文件系统中，客户端比较多的情况下，将多有客户端的文件收集到一个存储介质上。这样，管理员就可以不用到每个客户端节点上查询文件，通过查看由客户端同步到存储介质上的文件，实现对客户端文件的管理，不需要逐个查看每一个客户端上文件内容，降低了管理的复杂度，管理起来方面、快捷，同时也起到了多有客户端文件备份的功能。因为从集群文件系统搭建还好开始多所有客户端的文件同步，会保存客户端上所有的文件，也就间接的实现了文件备份的功能。将所有客户端的文件同步到一个存储介质上是本专利技术的创新点之一，另一个创新点是客户端同步文件存储介质上部署了重复数据删除的功能。对所有客户端上变化的文件同步到一个存储介质后，必然在存储介质上存储大量的数据，这些数据中会充斥着大量的冗余数据，删除这些冗余的数据就是节省大量的存储空间。本专利技术中采用的是基于数据块级的重复数据删除方式。下面以一应用实例做进一步说明—种大规模集群文件系统文件同步和重删实现方法具体操作过程说明I、搭建客户端上的文件上传系统，并在各客户端上挂载该文件上传系统；2、对客户端挂载的文件上传系统目录配置文件定时同步功能，这样写入客户端挂载目录的文件就可依据时间同步到另本文档来自技高网...

【技术保护点】
一种集群系统中文件的管理方法，其特征在于，包括：获取一个写入周期内集群系统中各客户端写入的全部数据块；将得到的数据块集中存储在同一个存储介质中；通过从该存储介质读取数据，实现对客户端上文件的管理。

【技术特征摘要】
1.一种集群系统中文件的管理方法，其特征在于，包括 获取一个写入周期内集群系统中各客户端写入的全部数据块； 将得到的数据块集中存储在同一个存储介质中； 通过从该存储介质读取数据，实现对客户端上文件的管理。2.根据权利要求I所述的方法，其特征在于，所述将得到的数据块集中存储在同一个存储介质中，包括 如果获取到的数据块中至少两个数据块相同，则在所述存储介质上仅保存至少两个数据块中的一个，并获取所述至少两个数据块的编号，配置所述至少两个数据块的编号均指向存储介质上少两个数据块中仅保存的数据块。3.根据权利要求I或2所述的方法，其特征在于，所述存储介质按照数据块所属的客户端或数据块的写入周期进行分类存储的。4.根据权利要求I所述的方法，其特征在于，所述通过从该存储介质读取数据，实现对客户端上文件的管理，包括 当接收到某一客户端本地存储的文件发生损坏时，根据发生损坏的文件的信息，从存储介质上读取发生损坏的文件对应的数据块； 根据所述存储介质上发生损坏的文件对应的数据块，对发生损坏的文件进行数据恢复。5.一种集群系统中文件的管理系统，其特征在于，包括 获取装置，用...

【专利技术属性】
技术研发人员：张延良，
申请(专利权)人：浪潮北京电子信息产业有限公司，
类型：发明
国别省市：