一种文件的共享方法、装置及系统制造方法及图纸

本发明专利技术适用于网络文件系统领域，提供了一种文件的共享方法、装置及系统，所述方法包括：根据集群的路由信息将集群划分为至少两个次级集群；从每个次级集群中选取一个节点作为主节点；在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。本发明专利技术，将一个大的集群分成多个次级集群，然后由各个次级集群的主节点将获取到的文件分享给其所在次级集群的从节点，能够使得文件共享在一定程度上实现并行化，从而提高文件共享的效率。

【技术实现步骤摘要】

本专利技术属于网络文件系统领域，尤其涉及一种文件的共享方法、装置及系统。
技术介绍
网络文件系统(Network File System, NFS)作为一个常用的文件共享系统，在集群中得到了广泛的应用。但是，NFS处理高性能计算一直不够理想。高性能计算涉及到的数据文件非常庞大，并且NFS节点的数量可能达到几千台。当NFS节点规模较大时，因为NFS服务器的局限性，比如带宽、存储容量、处理速度，会限制总体共享文件的性能。
技术实现思路
本专利技术实施例提供了一种文件的共享方法、装置及系统，旨在解决现有技术提供的文件的共享方法，使得集群内部的文件共享速度很慢的问题。一方面，提供一种文件的共享方法，所述方法包括:根据集群的路由信息将集群划分为至少两个次级集群；从每个次级集群中选取一个节点作为主节点；在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。进一步地，在所述根据集群的路由信息将集群划分为至少两个次级集群之后，还包括:将次级集群划分为至少两个子集群；在所述从每个次级集群中选取一个节点作为主节点之后，还包括:在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群中的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子集群的从节点。进一步地，所述路由信息包括集群中节点的分布情况信息和相邻节点间的传输带宽信息；根据相邻节点间的传输带宽信息从每个次级集群中选取一个节点作为主节点。根据集群的路由信息将集群划分为至少两个次级集群，在所述在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点之后，或者，在所述在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子群的从节点之后，所述方法还包括:断开各主节点与从节点之间的NFS连接。另一方面，提供一种文件的共享装置，所述装置包括:第一集群划分单元，用于根据集群的路由信息将集群划分为至少两个次级集群；主节点确定单元，用于从每个次级集群中选取一个节点作为主节点；第一文件共享单元，用于在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。进一步地，所述装置还包括:第二集群划分单元，用于将次级集群划分为至少两个子集群；第二文件共享单元，用于在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群中的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子集群的从节点。进一步地，所述路由信息包括集群中节点的分布情况信息和相邻节点间的传输带宽信息；所述主节点确定单元根据相邻节点间的传输带宽信息从每个次级集群中选取一个节点作为主节点。进一步地，所述装置还包括:连接释放单元,用于断开各主节点与从节点之间的NFS连接。又一方面，提供一种文件的共享系统，所述系统包括集群，所述系统还包括与所述集群连接的集群控制器，所述集群控制器包括如上所述的文件的共享装置。在本专利技术实施例，将一个大的集群分成多个次级集群，然后由各个次级集群的主节点将获取到的文件分享给其所在次级集群的从节点，能够使得文件共享在一定程度上实现并行化，从而提高文件共享的效率。【附图说明】图1是本专利技术实施例一提供的文件的共享方法的实现流程图；图2是本专利技术实施例二提供的文件的共享装置的结构框图。【具体实施方式】为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。在本专利技术实施例中，根据集群的路由信息将集群划分为至少两个次级集群；从每个次级集群中选取一个节点作为主节点；在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。以下结合具体实施例对本专利技术的实现进行详细描述:实施例一图1示出了本专利技术实施例一提供的文件的共享方法的实现流程，详述如下:在步骤SlOl中，根据集群的路由信息将集群划分为至少两个次级集群。在本实施例中，集群控制器根据集群的路由信息，将集群划分为若干个次级集群。其中，路由信息中主要包含了集群中节点的分布情况信息和相邻节点间的传输带宽信息。具体的，根据集群中节点的分布情况，进行集群的划分，使得划分后的各个次级集群中的节点的数目尽量均衡。具体的，进行集群划分时，还要充分考虑集群中相邻节点的传输带宽，也就是相邻节点之间数据传输速度的最大值，尽量使集群中相邻节点之间的传输带宽较大，这样便于以后的数据共享。优选地，进行集群的划分时，如果次级集群仍然比较庞大，则可以对次级集群再进行二次集群划分，将次级集群划分成若干个子集群。在步骤S102中，从每个次级集群中选取一个节点作为主节点。在本实施例中，集群控制器读取次级集群中相邻节点间的传输带宽信息，从中选取一个与其余节点之间的传输带宽最大的节点作为次级集群中的主节点。选取与其余节点之间的传输带宽最大的节点作为次级集群的主节点，能够使主节点快速的发送文件至主节点所在的次级集群的从节点，提高集群内部的文件共享速度。在步骤S103中，在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。在本实施例中，集群控制器可以依次或者同时判断每个次级集群是否具有子集群，如果不具有，则建立当前次级集群的主节点与当前次级集群中的从节点之间的NFS连接，控制当前次级集群中的主节点，由当前次级集群中的主节点将获取的文件发送给其所在次级集群中的从节点。由于各个次级集群中的主节点可以同时发送文件至各自所在的次级集群的从节点，实现了文件的传输一定程度上的并行化，从而提高了文件共享的效率。优选地，在当前次级集群具有子集群时，建立当前次级集群的主节点与当前次级集群的从节点之间的NFS连接，控制当前次级集群中的主节点，先由当前次级集群的主节点将从数据节点获取的文件发送给各个子集群的主节点，再由各个子集群的主节点将所述文件发送给各个子集群的从节点。具体的，集群控制器可以依次或者同时判断每个次级集群是否具有子集群，如果具有，则控制当前次级集群中的主节点本文档来自技高网...

【技术保护点】
一种文件的共享方法，其特征在于，所述方法包括：根据集群的路由信息将集群划分为至少两个次级集群；从每个次级集群中选取一个节点作为主节点；在当前次级集群不具有子集群时，建立当前次级集群的主节点与当前次级集群中的从节点之间的网络文件系统NFS连接，控制当前次级集群的主节点，由当前次级集群的主节点将从数据节点获取的文件发送给当前次级集群的从节点。

【技术特征摘要】

【专利技术属性】
技术研发人员：曾经纬，贝振东，喻之斌，徐文星，须成忠，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44