分布式系统数据处理方法、装置、系统、设备及存储介质制造方法及图纸

技术编号:43097400 阅读:9 留言:0更新日期:2024-10-26 09:42
本发明专利技术公开一种分布式系统数据处理方法、装置、系统、设备及存储介质,响应客户端发送的第一请求,查找分布式系统中名称节点存储的元数据信息,得到目标域名并反馈至客户端;响应客户端发送的第二请求,查找分布式系统中与目标域名关联的数据节点的I Pv6地址以作为目标I Pv6地址;通过目标通信链路将目标数据反馈至所述客户端;其中,目标通信链路为基于目标I Pv6地址建立的链路,目标数据为所述目标I Pv6地址关联的数据节点的数据。本发明专利技术实施例通过从分布式系统存储的元数据信息获取目标域名,进而找到对应的数据节点并确定其I Pv6地址以构建用于数据传输的通信链路,无需寻找分布式系统的替代组件,保证了系统性能,无需付出大量改造工作量和过长的改造周期。

【技术实现步骤摘要】

本专利技术涉及数据服务,具体的说,涉及的是一种分布式系统数据处理方法、装置、系统、设备及存储介质


技术介绍

1、随着移动互联网、物联网、工业4.0等新兴产业迅速发展,接入网络的终端数量呈指数级增长,日益枯竭的ipv4地址资源已严重阻碍了互联网的蓬勃发展,ipv6的出现完美解决了这个问题。然而,对于分布式系统,目前仍然只能通过ipv4协议通信,比如作为大数据处理领域应用最为广泛的apache hadoop,如果服务器本身配置了ipv6协议,由于apachehadoop不支持ipv6协议,则无法正常使用该组件;为使得分布式系统能够正常使用,一种方案是强制使用ipv4协议通信,另一种方案是彻底禁用ipv6协议。如果要求系统必须使用ipv6协议通信,就得寻找分布式系统的替代组件,将面临改造工作量巨大,改造周期长和处理性能无法保证等难题。


技术实现思路

1、基于此,本专利技术提供了一种分布式系统数据处理方法、装置、系统、设备及存储介质,其能够通过从分布式系统存储的元数据信息中获取目标域名,进而查找到对应的数据节点并确本文档来自技高网...

【技术保护点】

1.一种分布式系统数据处理方法,其特征在于,包括:

2.如权利要求1所述的分布式系统数据处理方法,其特征在于,所述响应于所述客户端发送的第二请求,查找所述分布式系统中与所述目标域名关联的数据节点的IPv6地址,以作为目标IPv6地址;其中,所述第二请求包含所述目标域名,包括:

3.如权利要求1所述的分布式系统数据处理方法,其特征在于,所述分布式系统包括所述名称节点和若干所述数据节点,所述名称节点为NameNode,所述数据节点为DataNode。

4.如权利要求1~3任一所述的分布式系统数据处理方法,其特征在于,在响应于客户端发送的第一请求之前,还包括...

【技术特征摘要】

1.一种分布式系统数据处理方法,其特征在于,包括:

2.如权利要求1所述的分布式系统数据处理方法,其特征在于,所述响应于所述客户端发送的第二请求,查找所述分布式系统中与所述目标域名关联的数据节点的ipv6地址,以作为目标ipv6地址;其中,所述第二请求包含所述目标域名,包括:

3.如权利要求1所述的分布式系统数据处理方法,其特征在于,所述分布式系统包括所述名称节点和若干所述数据节点,所述名称节点为namenode,所述数据节点为datanode。

4.如权利要求1~3任一所述的分布式系统数据处理方法,其特征在于,在响应于客户端发送的第一请求之前,还包括:

5.如权利要求4所述的分布式系统数据处理方法,其特征在于,将所述ipv6地址和域名的对应关系、所述域名配置到所述分布式系统的配置文件中,包括:

6.如权利要求5所述的分布式系统数据处...

【专利技术属性】
技术研发人员:梁跃峰梁童周兴围刘豫乔峤冯笑杰刘智勇
申请(专利权)人:中国移动通信集团设计院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1