【技术实现步骤摘要】
一种在HDFS插件中集成NFS的方法
本专利技术涉及大数据
,特别是关于一种在HDFS插件中集成NFS的方法。
技术介绍
随着大数据时代的到来,传统的文件系统已经无法应对新时代下的大数据存储的挑战,分布式文件系统以其高可靠性、高性能以及强大的可扩展性逐渐得到广泛的使用。在主流的分布式文件系统中,大都采用元数据和文件数据分离的策略,将元数据信息存放在单独的服务器上,元数据服务器作为整个分布式文件系统的管理节点,为应用提供文件系统目录视图和数据定位服务。作为大数据平台Hadoop的存储核心,HDFS(分布式文件系统)以其良好的设计和性能逐渐成为大数据处理方向的一个标准。HDFS通常为主从结构,其由元数据管理节点NameNode和数据节点DataNode组成,NameNode负责管理整个分布式文件系统的元数据信息,包括目录树以及各个数据块对应的存储信息,所有的存储数据分散到DataNode上,当需要访问文件时,应用首先需要访问NameNode获得文件的存储信息,再访问DataNode获取文件数据。HDFS虽然支持文件 ...
【技术保护点】
1.一种在HDFS插件中集成NFS的方法,其特征在于包括以下步骤:/n1)根据实际需求,确定需要在HDFS插件中集成的NFS类型,当需要集成的为NFS组件时,进入步骤2),当需要集成的为NFS服务时,进入步骤3);/n2)在HDFS插件中集成NFS组件,并通过启动HDFS服务,将NFS组件的挂在目录添加到HDFS的NameNode元数据目录中,进而实现HDFS中NameNode元数据备份;/n3)在HDFS插件中单独设置NFS服务,通过启动NFS服务,实现HDFS中NameNode元数据备份。/n
【技术特征摘要】
1.一种在HDFS插件中集成NFS的方法,其特征在于包括以下步骤:
1)根据实际需求,确定需要在HDFS插件中集成的NFS类型,当需要集成的为NFS组件时,进入步骤2),当需要集成的为NFS服务时,进入步骤3);
2)在HDFS插件中集成NFS组件,并通过启动HDFS服务,将NFS组件的挂在目录添加到HDFS的NameNode元数据目录中,进而实现HDFS中NameNode元数据备份;
3)在HDFS插件中单独设置NFS服务,通过启动NFS服务,实现HDFS中NameNode元数据备份。
2.如权利要求1所述的一种在HDFS插件中集成NFS的方法,其特征在于:所述步骤2)中,在HDFS插件中集成NFS组件的方法,包括以下步骤:
2.1)在HDFS插件的配置文件中添加对NFS组件的支持;
2.2)通过HDFS插件在HDFS中安装并配置NFS组件的配置信息,并将NFS组件的挂载目录添加到HDFS的NameNode元数据目录中;
2.3)启动HDFS服务,新产生的元数据信息将同时保存到NameNode元数据目录和NFS组件的共享目录中,进而实现元数据信息备份。
3.如权利要求2所述的一种在HDFS插件中集成NFS组件的方法,其特征在于:所述步骤2.1)中,在HDFS插件的配置文件中添加对NFS组件的支持的方法,包括以下步骤:
2.1.1)在HDFS插件xml的配置文件中添加NFS名字的组件元素,构建NFS组件;
2.1.2)构造NFS组件的配置文件,所述配置文件包括配置NFS服务是否支持、NFS组件的共享目录...
【专利技术属性】
技术研发人员:王建圆,
申请(专利权)人:北京东方金信科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。