一种在HDFS插件中集成NFS的方法技术

本发明专利技术涉及一种在HDFS插件中集成NFS的方法，其特征在于包括以下步骤：1)根据实际需求，确定需要在HDFS插件中集成的NFS类型，当需要集成的为NFS组件时，进入步骤2)，当需要集成的为NFS服务时，进入步骤3)；2)在HDFS插件中集成NFS组件，并通过启动HDFS服务，将NFS组件的挂在目录添加到HDFS的NameNode元数据目录中，进而实现HDFS中NameNode元数据备份；3)在HDFS插件中单独设置NFS服务，通过启动NFS服务，实现HDFS中NameNode元数据备份。因此，本发明专利技术可以广泛应用于HDFS的数据备份领域中。

【技术实现步骤摘要】
一种在HDFS插件中集成NFS的方法
本专利技术涉及大数据
，特别是关于一种在HDFS插件中集成NFS的方法。
技术介绍
随着大数据时代的到来，传统的文件系统已经无法应对新时代下的大数据存储的挑战，分布式文件系统以其高可靠性、高性能以及强大的可扩展性逐渐得到广泛的使用。在主流的分布式文件系统中，大都采用元数据和文件数据分离的策略，将元数据信息存放在单独的服务器上，元数据服务器作为整个分布式文件系统的管理节点，为应用提供文件系统目录视图和数据定位服务。作为大数据平台Hadoop的存储核心，HDFS(分布式文件系统)以其良好的设计和性能逐渐成为大数据处理方向的一个标准。HDFS通常为主从结构，其由元数据管理节点NameNode和数据节点DataNode组成，NameNode负责管理整个分布式文件系统的元数据信息，包括目录树以及各个数据块对应的存储信息，所有的存储数据分散到DataNode上，当需要访问文件时，应用首先需要访问NameNode获得文件的存储信息，再访问DataNode获取文件数据。HDFS虽然支持文件保存NameNode元数据信息，但是当NameNode元数据发生故障时，会直接导致HDFS不可用。NFS(NetworkFileSystem，网络文件系统)是由SUN公司研制的UNIX表示层协议(pressentationlayerprotocol)，NFS支持多主机之间共享文件，比如B机器把A机器上的一个分区\home\a挂载为本地机器上的\home\b，这样在B机器上就可以像访问本地机器上的文件一样访问A机器上的文件了。这为HDFS元数据的备份提供了可能，然而，由于HDFS通常采用HDFS插件实现服务的管理，HDFS插件是用于自动化安装、启动、停止和监控HDFS服务的组件，但是目前的HDFS插件并不支持集成NFS。
技术实现思路
针对上述问题，本专利技术的目的是提供一种在HDFS插件中集成NFS的方法，通过在HDFS插件中集成NFS组件，在NFS的挂载路径实现HDFS中NameNode元数据的备份，使得多节点之间共享HDFS的NameNode元数据，保证NameNode元数据安全性。为实现上述目的，本专利技术采取以下技术方案：一种在HDFS插件中集成NFS的方法，其包括以下步骤：1)根据实际需求，确定需要在HDFS插件中集成的NFS类型，当需要集成的为NFS组件时，进入步骤2)，当需要集成的为NFS服务时，进入步骤3)；2)在HDFS插件中集成NFS组件，并通过启动HDFS服务，将NFS组件的挂在目录添加到HDFS的NameNode元数据目录中，进而实现HDFS中NameNode元数据备份；3)在HDFS插件中单独设置NFS服务，通过启动NFS服务，实现HDFS中NameNode元数据备份。进一步的，所述步骤2)中，在HDFS插件中集成NFS组件的方法，包括以下步骤：2.1)在HDFS插件的配置文件中添加对NFS组件的支持；2.2)通过HDFS插件在HDFS中安装并配置NFS组件的配置信息，并将NFS组件的挂载目录添加到HDFS的NameNode元数据目录中；2.3)启动HDFS服务，新产生的元数据信息将同时保存到NameNode元数据目录和NFS组件的共享目录中，进而实现元数据信息备份。进一步的，所述步骤2.1)中，在HDFS插件的配置文件中添加对NFS组件的支持的方法，包括以下步骤：2.1.1)在HDFS插件xml的配置文件中添加NFS名字的组件元素，构建NFS组件；2.1.2)构造NFS组件的配置文件，所述配置文件包括配置NFS服务是否支持、NFS组件的共享目录和挂载目录；2.1.3)根据NFS的配置文件编写对NFS服务的启动停止、配置以及状态监控的生命周期控制程序。进一步的，所述步骤2.2)中，通过HDFS插件在HDFS中安装并配置NFS组件的配置信息，并将NFS组件的挂载目录添加到HDFS的NameNode元数据目录的方法，包括以下步骤：2.2.1)通过HDFS插件在HDFS中安装NFS组件，并同时配置NFS组件的配置信息；2.2.2)开启NFS组件，配置NFS组件的共享目录和挂载目录；2.2.3)将配置的NFS组件的挂载目录添加到HDFS的NameNode元数据目录中。进一步的，所述步骤2.3)中，启动HDFS服务，包括启动HDFS中的NameNode、DataNode、SNameNode和NFS组件。进一步的，所述步骤3)中，在HDFS插件中设置NFS服务的方法，包括以下步骤：3.1)在HDFS插件中单独设置NFS服务并设置其配置文件；3.2)开启NFS服务，由NFS服务开启共享目录并指定挂载到本地的目录，并在HDFS插件的NameNode的数据目录中添加NFS的挂载目录；3.3)启动HDFS服务，包括启动HDFS中的NFS服务，新产生的元数据信息将同时保存到原始元数据目录和NFS服务指定的挂载目录下，达到元数据信息备份的目的。本专利技术由于采取以上技术方案，其具有以下优点：本专利技术通过在HDFS组件中集成NFS组件，实现了HDFS中NameNode元数据信息的多节点多路径备份，增加了HDFS服务安全性，降低NameNode数据损坏导致HDFS不能使用的风险。因此，本专利技术可以广泛应用于HDFS的数据备份领域中。附图说明图1是本专利技术实现HDFS中元数据备份的方法流程图。具体实施方式下面结合附图和实施例对本专利技术进行详细的描述。如图1所示，本专利技术提供一种在HDFS插件中集成NFS组件的方法，通过在HDFS插件中集成NFS组件，实现了HDFS中NameNode元数据备份，保障NameNode元数据的安全可靠，具体的，包括以下步骤：1)根据实际需求，确定需要在HDFS插件中集成的NFS类型，当需要集成的为NFS组件时，进入步骤2)，当需要集成的为NFS服务时，进入步骤3)；2)在HDFS插件中集成NFS组件，通过启动HDFS服务，将NFS组件的挂载目录添加到HDFS的NameNode元数据目录中，实现HDFS中NameNode元数据备份；3)在HDFS插件中单独设置NFS服务，通过启动NFS服务，实现HDFS中NameNode元数据备份。进一步的，上述步骤2)中，在HDFS插件中集成NFS组件的方法，包括以下步骤：2.1)在HDFS插件的配置文件中添加对NFS组件的支持。具体的，包括以下步骤：2.1.1)在HDFS插件xml的配置文件中添加NFS名字的组件元素，构建NFS组件；2.1.2)构造NFS组件的配置文件，该配置文件主要包括配置NFS服务是否支持、NFS组件的共享目录和挂载目录；2.1.3)根据NFS的配置文件编写对NFS服务的启动停止、配置以及状态监控的生命周期控制程序，继承类库中父类，实现安装、配置、本文档来自技高网...

【技术保护点】
1.一种在HDFS插件中集成NFS的方法，其特征在于包括以下步骤：/n1)根据实际需求，确定需要在HDFS插件中集成的NFS类型，当需要集成的为NFS组件时，进入步骤2)，当需要集成的为NFS服务时，进入步骤3)；/n2)在HDFS插件中集成NFS组件，并通过启动HDFS服务，将NFS组件的挂在目录添加到HDFS的NameNode元数据目录中，进而实现HDFS中NameNode元数据备份；/n3)在HDFS插件中单独设置NFS服务，通过启动NFS服务，实现HDFS中NameNode元数据备份。/n

【技术特征摘要】
1.一种在HDFS插件中集成NFS的方法，其特征在于包括以下步骤：
1)根据实际需求，确定需要在HDFS插件中集成的NFS类型，当需要集成的为NFS组件时，进入步骤2)，当需要集成的为NFS服务时，进入步骤3)；
2)在HDFS插件中集成NFS组件，并通过启动HDFS服务，将NFS组件的挂在目录添加到HDFS的NameNode元数据目录中，进而实现HDFS中NameNode元数据备份；
3)在HDFS插件中单独设置NFS服务，通过启动NFS服务，实现HDFS中NameNode元数据备份。


2.如权利要求1所述的一种在HDFS插件中集成NFS的方法，其特征在于：所述步骤2)中，在HDFS插件中集成NFS组件的方法，包括以下步骤：
2.1)在HDFS插件的配置文件中添加对NFS组件的支持；
2.2)通过HDFS插件在HDFS中安装并配置NFS组件的配置信息，并将NFS组件的挂载目录添加到HDFS的NameNode元数据目录中；
2.3)启动HDFS服务，新产生的元数据信息将同时保存到NameNode元数据目录和NFS组件的共享目录中，进而实现元数据信息备份。


3.如权利要求2所述的一种在HDFS插件中集成NFS组件的方法，其特征在于：所述步骤2.1)中，在HDFS插件的配置文件中添加对NFS组件的支持的方法，包括以下步骤：
2.1.1)在HDFS插件xml的配置文件中添加NFS名字的组件元素，构建NFS组件；
2.1.2)构造NFS组件的配置文件，所述配置文件包括配置NFS服务是否支持、NFS组件的共享目录...

【专利技术属性】
技术研发人员：王建圆，
申请(专利权)人：北京东方金信科技有限公司，
类型：发明
国别省市：北京;11