分布式文件系统优化负载均衡的方法及系统技术方案

本发明专利技术涉及一种分布式文件系统优化负载均衡的方法及系统，其系统包括元数据服务器、存储服务器及数据库服务器，数据库服务器在接收客户端发送的文件写入请求，根据文件写入请求写入文件，并为每一文件的各分片打上标签；元数据服务器当监控到存储服务器状态异常时，向存储服务器发起分片迁移请求；存储服务器根据本地存储文件的各分片的标签以及分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将分片新的位置信息上报至数据库服务器。本发明专利技术在存储服务器异常以及硬盘故障和扩容情况下，对分片进行重新调整，达到了优化负载均衡的效果，节省了元数据服务器的开支，提高了小文件模型下的整体性能。

【技术实现步骤摘要】
分布式文件系统优化负载均衡的方法及系统
本专利技术涉及分布式文件系统负载均衡
，尤其涉及一种通过自动调整分布式文件系统文件分片的分布来优化负载均衡的方法及系统。
技术介绍
与传统磁阵设备相比，分布式文件系统具有兼容不同型号设备、易于接入、易于扩容等优点。由于协同大量的存储设备共同为用户提供服务，因此分布式文件系统对于负载均衡要求很高。分布式文件系统通常将大文件切割成相同大小的分片，然后将这些分片分别存放在待提供服务的存储设备中。如果需要实现负载均衡，必须解决以下两个问题：第一，当用户请求写或者读时，元数据服务器必须权衡现有存储服务器的资源信息，选择一个更有利于整体优化的存储服务器为用户提供服务；第二，文件分片存放的位置必须合理，否则无论元数据服务器如何优化选择存储服务器，还是必须从存放相应数据的存储服务器获取数据。针对上述第二个问题，当文件分片存放位置已经不合理的情况下，如何进行二次调整，优化负载均衡成为待解决的问题。文件分片存放位置会产生不合理绝大多数情况是因为硬盘故障和扩容而造成的。在硬盘故障和扩容的过程中，有两种情况会影响文件分片分布均匀。一种情况是，硬盘状态正常，但读写本文档来自技高网...

【技术保护点】
一种分布式文件系统优化负载均衡的方法，其特征在于，包括：当元数据服务器监控到存储服务器状态异常时，向所述存储服务器发起分片迁移请求；所述存储服务器根据本地存储文件的各分片的标签以及所述分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将所述分片新的位置信息上报数据库服务器。

【技术特征摘要】
1.一种分布式文件系统优化负载均衡的方法，其特征在于，包括：数据库服务器接收客户端发送的文件写入请求，根据所述文件写入请求写入文件，并为每一文件的各分片打上标签；当元数据服务器监控到存储服务器状态异常时，向所述存储服务器发起分片迁移请求；所述存储服务器根据本地存储文件的各分片的标签以及所述分片迁移请求携带的异常信息，重新分配分片位置，并发起迁移；当迁移成功后，将所述分片新的位置信息上报数据库服务器。2.根据权利要求1所述的方法，其特征在于，所述数据库服务器为每一文件的各分片打上标签的步骤包括：所述数据库服务器写入第一个文件分片时，给该文件分片打上标签1，后续每增加一个文件分片，标签则增加1，当标签达到65535时再循环打标签。3.根据权利要求1或2所述的方法，其特征在于，所述存储服务器状态异常至少包括存储服务器的增加、删除以及硬盘故障或者扩容。4.根据权利要求3所述的方法，其特征在于，所述元数据服务器监控到所述硬盘故障的步骤包括：所述存储服务器在侦听到硬盘故障时，将硬盘异常信息发送给所述元数据服务器；所述元数据服务器接收到所述硬盘异常信息后，监控到所述硬盘故障。5.根据权利要求1所述的方法，其特征在于，所述当元数据服务器监控到存储服务器状态异常时，向所述存储服务器发起分片迁移请求的步骤包括：当元数据服务器监控到存储服务器状态异常，且异常时间大于预定...

【专利技术属性】
技术研发人员：金泉洁，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44