分布式文件系统透明故障切换的优化方法、系统及装置制造方法及图纸

本发明专利技术提出的一种分布式文件系统透明故障切换的优化方法、系统及装置，所述方法包括：启动HDFS客户端服务节点的集群数据库和服务监控自启功能；HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统；当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。本发明专利技术能够使分布式文件系统在使用HDFS协议读写入过程中实现服务的故障切换和服务节点的备份。的故障切换和服务节点的备份。的故障切换和服务节点的备份。

【技术实现步骤摘要】
分布式文件系统透明故障切换的优化方法、系统及装置


[0001]本专利技术涉及计算机
，更具体的说是涉及一种分布式文件系统透明故障切换的优化方法、系统及装置。

技术介绍

[0002]Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
[0003]分布式文件系统在使用HDFS协议读写入过程中，透明故障的支持直接影响系统的可用性，在实际现场业务中，如何保障故障业务不中断，一直是存储行业必须解决和面对的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式文件系统透明故障切换的优化方法，其特征在于，包括：启动HDFS客户端服务节点的集群数据库和服务监控自启功能；HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统；当分布式文件系统的元数据发生节点故障时，进行元数据故障自动切换；在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听；当监听到HDFS服务节点发生故障时，HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入。2.根据权利要求1所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述HDFS客户端服务节点通过域名系统向客户提供域名接入分布式文件系统还包括：客户通过域名轮询服务获取虚拟IP；客户使用虚拟IP访问HDFS客户端服务进而访问分布式文件存储服务。3.根据权利要求1所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述进行元数据故障自动切换，具体包括：通过集群数据库的虚拟IP自动排除故障节点，完成虚拟IP节点切换；当节点本身进程异常时，通过设置自监控功能进行异常自动拉起。4.根据权利要求1所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述进行HDFS服务监听时，分布式文件系统监视器会在进行数据读写的过程中通过客户端服务节点列表将存储节点IP信息返回给HDFS客户端服务节点。5.根据权利要求4所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述在HDFS客户端服务启动时，自动注册节点消息到分布式文件系统监视器并进行HDFS服务监听，具体包括：在HDFS客户端服务启动时，HDFS客户端向分布式文件监视器注册自身服务节点信息，并在进行运行阶段定时发送服务心跳；若HDFS客户端服务退出或者心跳连接时间超过60秒，将对应的HDFS客户端服务节点从客户端服务节点列表中移除。6.根据权利要求1所述的分布式文件系统透明故障切换的优化方法，其特征在于，所述HDFS客户端通过切换数据服务节点IP恢复数据块缓存信息的写入，包括：当HDFS客户端服...

【专利技术属性】
技术研发人员：王帅阳，李文鹏，李旭东，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：