一种跨机房的流量管控方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供一种跨机房的流量管控方法、装置、电子设备及存储介质，涉及分布式存储技术领域。其中，方法为：响应于客户端的远程过程调用RPC请求，从各主节点中选择机房标识与客户端的机房标识一致的目标主节点，并将RPC请求路由到目标主节点；响应于客户端的数据读写请求，从各数据节点中选择机房标识与客户端的机房标识一致的目标数据节点，以使客户端向目标数据节点进行数据读写；接收客户端的计算作业，从各节点管理器NodeManager中选择机房标识与客户端的机房标识一致的同机房NodeManager，以使同机房NodeManager执行计算作业。这样，数据访问和计算作业本地化，减少了跨机房流量，利用HDFS副本就近读，又保证计算作业落在同一机房执行，最大化本地带宽与资源利用。

【技术实现步骤摘要】

本申请涉及分布式存储，尤其涉及一种跨机房的流量管控方法、装置、电子设备及存储介质。

技术介绍

1、在云计算和大数据应用中，企业常采用hadoop分布式文件系统（hadoopdistributed file system，hdfs）跨机房部署以实现高可用性和容灾能力，这种架构将数据副本分散在不同物理机房，确保单点故障不影响系统整体运行。

2、然而，这种部署方式会不可避免地产生跨机房流量，即数据在机房之间传输、消耗网络带宽和增加延迟，并可能影响系统性能。因此，如何减少跨机房流量是目前亟需解决的问题。

技术实现思路

1、本申请实施例提供了一种跨机房的流量管控方法、装置、电子设备及存储介质，用以将数据访问和计算任务本地化，减少跨机房流量。

2、第一方面，本申请实施例提供了一种跨机房的流量管控方法，所述方法包括：

3、响应于客户端的远程过程调用rpc请求，从各主节点中选择机房标识与客户端的机房标识一致的目标主节点，并将rpc请求路由到目标主节点；

4、响应于客户端的数据读本文档来自技高网...

【技术保护点】

1.一种跨机房的流量管控方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述从各主节点中选择机房标识与所述客户端的机房标识一致的目标主节点，并将所述RPC请求路由到所述目标主节点，包括：

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

5.如权利要求4所述的方法，其特征在于，所述基于所述客户端的机房标识、预设的调度规则和各NodeManager的资源状态，确定所述计算作业对应的目标NodeManager，包括：

6.如权利要求5所述的方法，其特...

【技术特征摘要】

1.一种跨机房的流量管控方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述从各主节点中选择机房标识与所述客户端的机房标识一致的目标主节点，并将所述rpc请求路由到所述目标主节点，包括：

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

4.如权利要求1所述的方法，其特征在于，所述方法还包括：

5.如权利要求4所述的方法，其特征在于，所述基于所述客户端的机房标识、预设的调度规则和各node...

【专利技术属性】
技术研发人员：柳海源，冯春锋，王京，潘丹，李婉琪，冯龙，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：