HDFS数据的转移方法及装置、存储介质、电子设备制造方法及图纸

本发明专利技术公开了一种HDFS数据的转移方法及装置、存储介质、电子设备，属于云计算领域。其中，该方法包括：将Hadoop分布式文件系统HDFS数据从源Hadoop集群转移至目标Hadoop集群；判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息是否一致；若判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息不一致，基于所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群的数据仓库H i ve元数据。通过本发明专利技术，解决了相关技术在数据转移后需要手动配置H i ve元数据的技术问题，提高了H i ve元数据的配置效率，在HDFS数据转移到目标Hadoop集群后，不用手动更新，在目标Hadoop集群中直接就可以进行使用和查询。Hadoop集群中直接就可以进行使用和查询。Hadoop集群中直接就可以进行使用和查询。

【技术实现步骤摘要】
HDFS数据的转移方法及装置、存储介质、电子设备


[0001]本专利技术涉及云计算领域，具体而言，涉及一种HDFS数据的转移方法及装置、存储介质、电子设备。

技术介绍

[0002]相关技术中，Hadoop实现了一个分布式文件系统(HDFS，Hadoop Distributed File System，Hadoop分布式文件系统)，其中一个组件是HDFS，HDFS有高容错性的特点，并且设计用来部署在低廉的(low
‑
cost)硬件上；而且它提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序，而Hive是一种基于HDFS存储的数据库服务。
[0003]相关技术中，Hive元数据中,数据存储路径记录的是带有HDFS nameservice(名称服务)的完整URL(Uniform Resource Locator，统一资源定位符)信息，例如:hdfs://hadoop
‑
demo/path/to/hive/data/，在备份或迁移数据HDFS数据时,需要同时对Hive元数据进行备份迁移，如果新集群的HDFS nameservice与旧集群不一致,要想HDFS数据在新Hadoop集群中直接就可以进行使用和查询，需要针对整条URL信息进行修改，重新手动逐条改写HDFS数据在新集群中的Hive元数据，导致数据转移时间长。
[0004]针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

技术实现思路

[0005]本专利技术实施例提供了一种HDFS数据的转移方法及装置、存储介质、电子设备。
[0006]根据本申请实施例的一个方面，提供了一种HDFS数据的转移方法，包括：将Hadoop分布式文件系统HDFS数据从源Hadoop集群转移至目标Hadoop集群；判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息是否一致；若判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息不一致，基于所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群的数据仓库Hive元数据。
[0007]进一步，基于所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群的数据仓库Hive元数据包括：在所述目标Hadoop集群的服务器节点中查询指定配置文件，其中，所述指定配置文件用于存储所述目标Hadoop集群的Hive配置参数；在所述指定配置文件中采用所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群中的第一元数据字段，其中，所述第一元数据字段用于表征所述HDFS数据指向的名称节点IP。
[0008]进一步，在将HDFS数据从源Hadoop集群转移至目标Hadoop集群之后，所述方法还包括：获取所述HDFS数据在所述源Hadoop集群中的数据库地址；基于所述数据库地址在所述目标Hadoop集群中配置所述HDFS数据的Hive元数据。
[0009]进一步，基于所述数据库地址在所述目标Hadoop集群中配置所述HDFS数据的Hive元数据包括：将所述数据库地址复制到所述目标Hadoop集群的数据库中，并将所述数据库地址配置为所述HDFS数据在所述目标Hadoop集群中的Hive元数据，其中，所述数据库地址与所述HDFS数据在所述目标Hadoop集群中的统一资源定位符URL地址对应。
[0010]进一步，在将HDFS数据从源Hadoop集群转移至目标Hadoop集群之前，所述方法还包括：在所述源Hadoop集群的服务器节点的指定配置文件中配置所述HDFS数据的第一元数据字段，在所述源Hadoop集群的数据库中配置所述HDFS数据的第二元数据字段，其中，所述HDFS数据的Hive元数据包括所述第一元数据字段和所述第二元数据字段，所述第一元数据字段用于表征所述HDFS数据指向的名称节点IP，所述第二元数据字段用于表征所述HDFS数据在集群内的存储路径。
[0011]进一步，在基于所述第二名称服务信息在所述目标Hadoop集群中配置所述HDFS数据的数据仓库Hive元数据之后，所述方法还包括：接收所述HDFS数据的查询请求；获取所述第二名称服务信息，以及获取所述HDFS数据在所述目标Hadoop集群中的数据库地址；采用所述第二名称服务信息和所述数据库地址拼接生成所述HDFS数据的Hive元数据；基于所述Hive元数据在目标Hadoop集群中定位所述HDFS数据。
[0012]进一步，在将HDFS数据从源Hadoop集群转移至目标Hadoop集群之前，所述方法还包括以下之一：接收所述HDFS数据的备份请求；接收所述HDFS数据的迁移请求。
[0013]根据本申请实施例的另一个方面，还提供了一种HDFS数据的转移装置，包括：转移模块，用于将Hadoop分布式文件系统HDFS数据从源Hadoop集群转移至目标Hadoop集群；判断模块，用于判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息是否一致；第一配置模块，用于若判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息不一致，基于所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群的数据仓库Hive元数据。
[0014]进一步，所述第一配置模块包括：查询单元，用于在所述目标Hadoop集群的服务器节点中查询指定配置文件，其中，所述指定配置文件用于存储所述目标Hadoop集群的Hive配置参数；配置单元，用于在所述指定配置文件中采用所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群中的第一元数据字段，其中，所述第一元数据字段用于表征所述HDFS数据指向的名称节点IP。
[0015]进一步，所述装置还包括：转移模块，用于在所述转移模块将HDFS数据从源Hadoop集群转移至目标Hadoop集群之后，获取所述HDFS数据在所述源Hadoop集群中的数据库地址；第二配置模块，用于基于所述数据库地址在所述目标Hadoop集群中配置所述HDFS数据的Hive元数据。
[0016]进一步，所述第二配置模块包括：复制单元，用于将所述数据库地址复制到所述目标Hadoop集群的数据库中，并将所述数据库地址配置为所述HDFS数据在所述目标Hadoop集群中的Hive元数据，其中，所述数据库地址与所述HDFS数据在所述目标Hadoop集群中的统一资源定位符URL地址对应。
[0017]进一步，所述装置还包括：第三配置模块，用于在所述转移模块将HDFS数据从源Hadoop集群转移至目标Hadoop集群之前，在所述源Hadoop集群的服务器节点的指定配置文件中配置所述HDFS数据的第一元数据字段，在所述源Hadoop集群的数据库中配置所述HDFS数据的第二元数据字段，其中，所述HDFS数据的Hive元数据包括所述第一元数据字段和所述第二元数据字段，所述第一元数据字段用于表征所述HDFS数据指向的名称节点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种HDFS数据的转移方法，其特征在于，包括：将Hadoop分布式文件系统HDFS数据从源Hadoop集群转移至目标Hadoop集群；判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息是否一致；若判断所述源Hadoop集群的第一名称服务信息与所述目标Hadoop集群的第二名称服务信息不一致，基于所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群的数据仓库Hive元数据。2.根据权利要求1所述的方法，其特征在于，基于所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群的数据仓库Hive元数据包括：在所述目标Hadoop集群的服务器节点中查询指定配置文件，其中，所述指定配置文件用于存储所述目标Hadoop集群的Hive配置参数；在所述指定配置文件中采用所述第二名称服务信息配置所述HDFS数据在所述目标Hadoop集群中的第一元数据字段，其中，所述第一元数据字段用于表征所述HDFS数据指向的名称节点IP。3.根据权利要求1所述的方法，其特征在于，在将HDFS数据从源Hadoop集群转移至目标Hadoop集群之后，所述方法还包括：获取所述HDFS数据在所述源Hadoop集群中的数据库地址；基于所述数据库地址在所述目标Hadoop集群中配置所述HDFS数据的Hive元数据。4.根据权利要求3所述的方法，其特征在于，基于所述数据库地址在所述目标Hadoop集群中配置所述HDFS数据的Hive元数据包括：将所述数据库地址复制到所述目标Hadoop集群的数据库中，并将所述数据库地址配置为所述HDFS数据在所述目标Hadoop集群中的Hive元数据，其中，所述数据库地址与所述HDFS数据在所述目标Hadoop集群中的统一资源定位符URL地址对应。5.根据权利要求1所述的方法，其特征在于，在将HDFS数据从源Hadoop集群转移至目标Hadoop集群之前，所述方法还包括：在所述源Hadoop集群的服务器节点的指定配置文件中配置所述HDFS数据的第一元数据字段，在所述源Hadoo...

【专利技术属性】
技术研发人员：梁海昆，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：