一种集群文件系统动态数据分布方法技术方案

本发明专利技术提供一种集群文件系统动态数据分布方法，该方法是动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4），其中：客户端模块（1）是访问文件系统的入口，负责用户的数据请求；元数据集群（2）负责存储用户写入数据的元数据部分；数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。

【技术实现步骤摘要】

本专利技术涉及计算机应用
，通常适用于分布式、并行文件系统中，能够实现容量均衡，并极大的提高集群文件系统的性能，具体地说是。
技术介绍
目前部分分布式集群文件系统存在的问题是，当客户端进行文件写入的过程中，数据会被分成多个条带，然后每个条带会写入集群系统中的存储单元上，但是，当动态添加新的存储单元后，该文件是不能识别到新添加的存储单元，也就是，数据条带不能动态分布到新的存储单元上，这对提高集群性能起不到到相应的作用。本专利技术就是针对该问题而提 出的。
技术实现思路
本专利技术的目的是提供。本专利技术的目的是按以下方式实现的，动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括客户端模块(I);元数据集群(2);数据存储集群(3);数据协调处理模块(4)，其中 客户端模块(I)是访问文件系统的入口，负责用户的数据请求； 元数据集群(2)负责存储用户写入数据的元数据部分； 数据存储集群(3)负责提供数据存储单元存储数据包括去掉元数据之后的数据； 数据协调处理模块(4)针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。具体实施步骤如下 假设客户端写入文件名为=BigFile ； 1)假设客户端指定BigFile文件分成8个条带块D0，…，D7，写入到三个存储单元LUNl, LUN2, ...LUN3 中； 2)数据开始写入，在写入过程中，集群系统动态添加了一个存储单元LUN‘； 3)数据处理协调模块(3)会检测到存储单元LUN’，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上； 4)数据操作完成后，文件BigFile写到了四个存储单元LUN1，LUN2，LUN3，LUN’上，SP数据有刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元，实现了系统的容量均衡，同时相应的提高了集群系统的性能。本专利技术的有益效果是，该方法主要创新是通过数据处理协调模块(3)保证在客户端数据写入过程中，能够动态识别新添加的存储单元，并保证数据条带能够分布到新的存储单元上，从而实现系统的容量均衡，提高系统的性倉泛。附图说明附图I为动态添加存储单元前数据分布； 附图2为动态添加存储单元后数据分布。具体实施例方式参照说明书附图对本专利技术的作以下详细地说明。动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括客户端模块(I);元数据集群(2);数据存储集群(3)；数据协调处理模块(4)，其中 客户端模块(I)是访问文件系统的入口，负责用户的数据请求； 元数据集群(2)负责存储用户写入数据的元数据部分； 数据存储集群(3)负责提供数据存储单元存储数据包括去掉元数据之后的数据； 数据协调处理模块(4)针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。实施例假设客户端写入文件名为BigFile ； (1)假设客户端指定BigFile文件分成8个条带块(D0，…，D7)，写入到三个存储单元(LUN1, LUN2, LUN3)中； (2)数据开始写入，在写入过程中，集群系统动态添加了一个存储单元(LUN’)； (3)数据处理协调模块(3)会检测到存储单元(LUN’)，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上； (4)数据操作完成后，文件BigFile写到了四个存储单元(LUN1，LUN2，LUN3，LUN’)上。即数据有刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元，实现了系统的容量均衡，同时相应的提高了集群系统的性能。除说明书所述的技术特征外，均为本专业技术人员的已知技术。权利要求1. ，其特征在于动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括客户端模块(I);元数据集群(2);数据存储集群(3);数据协调处理模块(4)，其中 客户端模块(I)是访问文件系统的入口，负责用户的数据请求； 元数据集群(2)负责存储 用户写入数据的元数据部分； 数据存储集群(3)负责提供数据存储单元存储数据包括去掉元数据之后的数据； 数据协调处理模块(4)针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数，具体实施步骤如下 假设客户端写入文件名为=BigFile ； 1)假设客户端指定BigFile文件分成8个条带块D0，…，D7，写入到三个存储单元LUNl, LUN2, ...LUN3 中； 2)数据开始写入，在写入过程中，集群系统动态添加了一个存储单元LUN‘ ； 3)数据处理协调模块(3)会检测到存储单元LUN’，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上； 4)数据操作完成后，文件BigFile写到了四个存储单元LUN1，LUN2，LUN3，LUN’上，SP数据有刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元，实现了系统的容量均衡，同时相应的提高了集群系统的性能。全文摘要本专利技术提供，该方法是动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括客户端模块(1)；元数据集群(2)；数据存储集群(3)；数据协调处理模块(4)，其中客户端模块(1)是访问文件系统的入口，负责用户的数据请求；元数据集群(2)负责存储用户写入数据的元数据部分；数据存储集群(3)负责提供数据存储单元存储数据包括去掉元数据之后的数据；数据协调处理模块(4)针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数。文档编号G06F17/30GK102750343SQ20121018496公开日2012年10月24日 申请日期2012年6月7日 优先权日2012年6月7日专利技术者胡振 申请人:浪潮电子信息产业股份有限公司本文档来自技高网...

【技术保护点】
一种集群文件系统动态数据分布方法,？其特征在于动态添加或者缩减数据写入存储单元的个数，实现系统的容量均衡，并且能够提高并行文件系统集群性能，系统包括：客户端模块（1）；元数据集群（2）；数据存储集群（3）；数据协调处理模块（4），其中：客户端模块（1）是访问文件系统的入口，负责用户的数据请求；元数据集群（2）负责存储用户写入数据的元数据部分；数据存储集群（3）负责提供数据存储单元存储数据包括去掉元数据之后的数据；数据协调处理模块（4）针对客户端数据写入存储单元的位置，并动态添加或者缩减数据写入存储单元的个数，具体实施步骤如下：假设客户端写入文件名为：BigFile；1）假设客户端指定BigFile文件分成8个条带块D0,…,D7，写入到三个存储单元LUN1，LUN2，…LUN3中；2）数据开始写入，在写入过程中，集群系统动态添加了一个存储单元LUN‘；3）数据处理协调模块（3）会检测到存储单元LUN’，然后会调整把BigFile文件的某几个条带写入到存储单元LUN’上；4）数据操作完成后，文件BigFile写到了四个存储单元LUN1，LUN2,LUN3,？LUN’上，即：数据有刚开始的三个条带，变成了四个条带，该过程充分利用了新添加的存储单元，实现了系统的容量均衡，同时相应的提高了集群系统的性能。...

【技术特征摘要】

【专利技术属性】
技术研发人员：胡振，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：