一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法技术方案

本发明专利技术提供一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法，通过lustre文件系统来实现利用集群计算节点空闲硬盘空间扩展并行文件操作，Lustre对象存储文件系统是由客户端、存储服务器和元数据服务器MDS三个主要部分组成，Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互，即用计算节点的闲置磁盘空间做lustre文件系统的存储服务器ost，把计算节点的闲置磁盘空间整合成一个大的文件系统，然后客户端或计算节点来挂载此文件系统使用；通过利用计算节点空闲硬盘空间做并行文件系统的方法，不仅可以解决文件系统IO并发和带宽问题，而且能提高整个集群系统的存储空间，合理利用集群资源。

【技术实现步骤摘要】

本专利技术涉及计算机
，具体地说是。
技术介绍
对于中小型集群，特别是小型集群，一般没有配备专门并行文件系统，集群计算节点共享一般通过nfs实现，在提交过多对io要求很高的作业后，文件系统效率会严重降低。
技术实现思路
本专利技术的技术任务是解决现有技术的不足，提供。本专利技术的技术方案是按以下方式实现的，通过lustre文件系统来实现利用集群计算节点空闲硬盘空间扩展并行文件操作，Lustre对象存储文件系统是由客户端、存储服务器和元数据服务器MDS三个主要部分组成，Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互，即用计算节点的闲置磁盘空间做lustre文件系统的存储服务器ost，把计算节点的闲置磁盘空间整合成一个大的文件系统，然后客户端或计算节点来挂载此文件系统使用； 具体实现过程如下 构建一小型集群，一个管理节点和10个计算节点，其中计算节点的硬盘容量为500G，Luster文件系统实现方式如下 1)mds服务器的创建 在管理节点划分一个30G的区分格式化为mdt和mgs分区； 2)ost服务器的创建 共10个计算节点，每个节点500G的磁盘空间，拿出50G安装操作系统，剩下的450G空间做为lustre的ost空间； 把10个计算节点的空闲分区依次格式化为ostl—ostlO ； 至此lustre文件系统构建完毕，由10个450G容量的ost分区组成，文件系统共4. 5T的容量； 3)客户端挂载 管理节点和10个计算节点，都挂载此4. 5T存储空间使用，这样不仅计算节点的硬盘得到合理利用，增加了整个集群的存储空间，多出4. 5T的使用容量，而且，对于有10个ost的lustre文件系统，其IO并发能力和带宽都要远远高于nfs文件系统，提高了集群的整体性倉泛。本专利技术的突出的有益效果通过利用计算节点空闲硬盘空间做并行文件系统的方法，不仅可以解决文件系统IO并发和带宽问题，而且能提高整个集群系统的存储空间，合理利用集群资源。附图说明 图1是系统结构不意图。具体实施例方式下面结合附图对本专利技术的方法作进一步详细说明。北京中科院对地观测中心购买了一套小型集群，一个管理节点和10个计算节点，其中计算节点的硬盘容量为500G。Luster文件系统实现方式 1.mds服务器的创建 在管理节点划分一个30G的区分格式化为mdt和mgs分区； 2.ost服务器的创建 共10个计算节点，每个节点500G的磁盘空间，拿出50G安装操作系统，剩下的450G空间做为lustre的ost空间； 把10个计算节点的空闲分区依次格式化为ostl—ostlO 至此lustre文件系统构建完毕，由10个450G容量的ost分区组成，文件系统共4. 5T的容量； 3.客户端挂载 管理节点和10个计算节点，都挂载此4. 5T存储空间使用即可。这样不仅计算节点的硬盘得到合理利用，增加了整个集群的存储空间(多出4. 5T的使用容量)，而且，对于有10个ost的lustre文件系统，其IO并发能力和带宽都要远远高于nfs文件系统，提高了集群的整体性能。除本专利技术的说明书公开的技术特征外均为本专业技术人员的公职技术。本文档来自技高网...

【技术保护点】
一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法，其特征在于，通过lustre文件系统来实现利用集群计算节点空闲硬盘空间扩展并行文件操作，Lustre对象存储文件系统是由客户端、存储服务器和元数据服务器MDS三个主要部分组成，Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互，即用计算节点的闲置磁盘空间做lustre文件系统的存储服务器ost，把计算节点的闲置磁盘空间整合成一个大的文件系统，然后客户端或计算节点来挂载此文件系统使用；具体实现过程如下：构建一小型集群，一个管理节点和10个计算节点，其中计算节点的硬盘容量为500G，Luster文件系统实现方式如下：1）mds服务器的创建在管理节点划分一个30G的区分格式化为mdt和mgs分区；2）ost服务器的创建共10个计算节点，每个节点500G的磁盘空间，拿出50G安装操作系统，剩下的450G空间做为lustre的ost空间；把10个计算节点的空闲分区依次格式化为ost1—ost10；至此lustre文件系统构建完毕，由10个450G容量的ost分区组成，文件系统共4.5T的容量；3）客户端挂载管理节点和10个计算节点，都挂载此4.5T存储空间使用，这样不仅计算节点的硬盘得到合理利用，增加了整个集群的存储空间，多出4.5T的使用容量，而且，对于有10个ost的lustre文件系统，其IO并发能力和带宽都要远远高于nfs文件系统，提高了集群的整体性能。...

【技术特征摘要】
1.一种利用集群计算节点空闲硬盘空间扩展并行文件系统的方法，其特征在于，通过lustre文件系统来实现利用集群计算节点空闲硬盘空间扩展并行文件操作，Lustre对象存储文件系统是由客户端、存储服务器和元数据服务器MDS三个主要部分组成，Lustre的客户端运行Lustre文件系统，它和OST进行文件数据I/O的交互，和MDS进行命名空间操作的交互，即用计算节点的闲置磁盘空间做lustre文件系统的存储服务器ost，把计算节点的闲置磁盘空间整合成一个大的文件系统，然后客户端或计算节点来挂载此文件系统使用； 具体实现过程如下: 构建一小型集群，一个管理节点和10个计算节点，其中计算节点的硬盘容量为500G，Luster文件系统实现方式如下: 1)mds服务器...

【专利技术属性】
技术研发人员：孙玉超，陈良华，郑辉，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：