一种感知网络流量的YARN调度方法及系统技术方案

本发明专利技术公开了一种感知网络流量的YARN调度方法及系统，包括：节点检测节点的网络流量，周期性地将网络流量发送给资源管理器，由资源管理器记录每个节点当前的网络流量信息，收到节点汇报的网络流量信息时，对这个值进行更新，在节点移除时，删掉该节点的网络流量信息；在应用向资源管理器申请容器时，为容器设置类型，以便资源管理器能识别容器的类型；在调度方面，根据当前节点与整个集群的网络流量信息，判断出当前节点的网络流量负载情况，选择合适的应用程序分配资源。本发明专利技术提供的调度方法能均衡集群中节点的网络负载，减少MapReduce应用的执行时间。

【技术实现步骤摘要】
一种感知网络流量的YARN调度方法及系统
本专利技术属于互联网大数据
，更具体地，涉及一种感知网络流量的YARN调度方法及系统。
技术介绍
随着大数据时代的来临，每天产生大量非结构化和半结构化数据，传统的关系型数据库等解决方案无法存储和处理如此规模的数据量，于是MapReduce编程模型产生。YARN(YetAnotherResourceNegotiator)作为一种资源管理平台，以其高可靠性，高容错性，支持多种计算框架而得到广泛应用。由于YARN管理资源只包括了CPU和内存，没有包含节点的网络流量信息，而MapReduce应用非本地性的map任务需要到其他节点上去取数据，reduce任务需要到每个map任务所在的节点去取它需要处理的数据，这两种任务都需要占用网络资源。YARN调度器缺乏对整个集群中网络资源的感知，极易将reduce任务聚集在某些节点上，导致这些节点上的网络负载高于其他节点，延长作业的执行时间。
技术实现思路
针对现有技术的以上缺陷或改进需求，本专利技术的目的在于提供了一种感知网络流量的YARN调度方法及系统，由此解决现有技术中YARN调度器缺乏对整个集群中网络资源本文档来自技高网...

【技术保护点】
一种感知网络流量的YARN调度方法，其特征在于，包括如下步骤：S1、应用程序在向YARN资源管理器申请Container时设置Container的类型；S2、集群中的每个节点采集节点上的实时网络流量信息，并在心跳时向资源管理器汇报节点的实时网络流量信息；S3、资源管理器记录每个节点上的实时网络流量信息，并在收到节点汇报的更新值时，对记录的相应节点的实时网络流量信息进行更新，和/或在节点移除时，删除记录的移除节点的实时网络流量信息；S4、当前节点向资源管理器发送心跳信息时，若当前节点上存在可用资源，则根据记录的各节点的实时网络流量信息以及当前节点的实时网络流量信息，选择合适的应用程序的Conta...

【技术特征摘要】
1.一种感知网络流量的YARN调度方法，其特征在于，包括如下步骤：S1、应用程序在向YARN资源管理器申请Container时设置Container的类型；S2、集群中的每个节点采集节点上的实时网络流量信息，并在心跳时向资源管理器汇报节点的实时网络流量信息；S3、资源管理器记录每个节点上的实时网络流量信息，并在收到节点汇报的更新值时，对记录的相应节点的实时网络流量信息进行更新，和/或在节点移除时，删除记录的移除节点的实时网络流量信息；S4、当前节点向资源管理器发送心跳信息时，若当前节点上存在可用资源，则根据记录的各节点的实时网络流量信息以及当前节点的实时网络流量信息，选择合适的应用程序的Container分配资源。2.根据权利要求1所述的方法，其特征在于，步骤S2具体包括如下子步骤：S2.1、对集群中的每个节点，使用nload命令将节点的实时网络流量信息重定向到文件中；S2.2、从文件中读取对应的字段，获取节点的实时网络流量信息；S2.3、将节点的实时网络流量信息赋给NodeStatus的networkFlow字段；S2.4、向资源管理器发送心跳信息汇报节点的实时网络流量信息。3.根据权利要求1或2所述的方法，其特征在于，步骤S4具体包括如下子步骤：S4.1、根据记录的每个节点的实时网络流量信息和当前节点的实时网络流量信息确定当前节点需要的任务类型；S4.2、若当前节点需要的任务类型是NORMAL，则进入步骤S4.3，否则，依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，判断是否存在Container的类型与当前节点需要的任务类型一致的Container，若存在，则将当前节点的资源分配给与当前节点需要的任务类型一致的Container，否则进入步骤S4.3；S4.3、依次选择FIFO中的应用程序，再按照Container的优先级遍历所选的应用程序中的所有Container，将当前节点的资源分配给优先级最高的Container。4.根据权利要求3所述的方法，其特征在于，步骤S4.1具体包括如下子步骤：S4.1.1、若集群中每个节点的实时网络流量均小于预设阈值，则认为当前集群没有网络任务在执行，直接返回NORMAL；S4.1.2、计算出集群中所有节点的实时网络流量总和；S4.1.3、用所有节点的实时网络流量总和除以集群中节点的数量得到网络流量平均值；S4.1.4、若当前节点的实时网络流量大于网络流量平均值，则确定当前节点需要的任务类型为MAP，否则确定当前节点需要的任务类型为REDUCE。5.一种感知网络流量的YARN调度系统，其特征在于，包括：容器类型设置模块，用于在应用程...

【专利技术属性】
技术研发人员：辜希武，李瑞轩，王格，李玉华，杨琪，黄凤玲，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42