一种大数据集群租户带宽控制方法及装置制造方法及图纸

本发明专利技术公开了一种大数据集群租户带宽控制方法及装置，所述方法包括：获取来自于调度系统的带宽限制命令，所述带宽限制命令用于限制带宽，所述带宽限制命令包括租户信息；根据所述租户信息查询预设的关联信息，得到对应的带宽阈值；确定与所述租户信息对应的租户的当前带宽信息；判断所述当前带宽信息与所述带宽阈值之间的大小关系，得到判断结果；根据所述判断结果控制所述租户在存储系统中所使用的带宽。

Method and device for controlling tenant bandwidth of large data cluster

The invention discloses a big data cluster tenant bandwidth control method and device, the method comprises: obtaining from the dispatch system bandwidth limit command, the command is used to limit the bandwidth limitation of bandwidth, the bandwidth limit orders including tenant information; according to the query information associated with the tenant default information, get the bandwidth corresponding to the threshold determine the current bandwidth; and information corresponding to the tenant tenant information; judging whether the current bandwidth between the information and the threshold value of the bandwidth size relationship, get the judgment result; according to the judgment result to control the tenants used in storage system bandwidth.

【技术实现步骤摘要】
一种大数据集群租户带宽控制方法及装置
本专利技术涉及带宽控制技术，尤其涉及一种大数据集群租户带宽控制方法及装置。
技术介绍
随着大数据技术的广泛应用和飞速发展，企业开始部署越来越大规模的大数据集群，集群规模可以达到1000-40000台服务器。这些集群上会部署多种大数据应用，底层采用Hadoop平台，负责Hadoop分布式文件系统(HDFS)分布式存储和Mapreduce任务调度，上层会部署Hive、HBase、Spark、Pig等等大数据应用，并且用专门的大数据集群管理软件进行统一管理。大数据集群管理软件可以为不同的租户分配不同大小的资源，使不同租户之间的资源和数据隔离，这些资源包括中央处理器(CPU)计算资源、内存存储资源、硬盘存储资源、传输带宽资源，传输带宽又分为硬盘带宽和网卡带宽。对于不同的资源，实现其隔离性的方式也不同。对于CPU、内存和硬盘存储，都可以通过cgroup(controlgroups)技术实现隔离，而硬盘带宽和网卡带宽很难实现隔离，只能做笼统的限速，不能针对不同的租户设置不同的带宽值，并且这两者非常容易成为集群的性能瓶颈。其中，cgroup技术是Linux内核提供的一种可以限制、记录、隔离进程组(processgroups)所使用的物理资源(如：CPU、Memory、IO等等)的机制。目前还没有较好的技术方案可以实现带宽资源的隔离，仅有以下一些思路可以参考：1)对于硬盘带宽，采用cgroup的blkio子系统，通过设置blkio.throttle.write_bps_device和blkio.throttle.read_bps_device来实现硬盘带宽限制。2)对于网卡带宽，使用Linux的网络控制工具如流量控制工具(TC，TrafficControl)创建分类队列，然后结合cgroup的net_cls子系统将要控制的进程与TC的分类队列绑定，这样便可以实现对某个进程网卡带宽限制。上述方案思路存在以下的问题：1)cgroup只能对进程进行直接限制。在大数据系统中，作业通常提交到调度系统(例如Yarn)，调度系统负责资源调度，CPU和内存资源都消耗在调度系统层，因此cgroup可以获得调度系统的进程号，实现调度系统层的资源隔离。当发生数据读写时，调度系统不会直接去读写，而是提交请求给文件系统(例如HDFS)，由文件系统完成读写，因此带宽资源实际是由文件系统占用的，而调度系统无法获得文件系统的进程号，因此也就无法通过cgroup来对文件系统进行隔离。2)硬盘带宽和网卡带宽是两种资源，而这两种资源是相互制约的，如果分开限制的话，慢的一方会成为性能瓶颈。3)直接限制硬盘和网卡，没有考虑资源调度的问题。4)直接在底层限制硬盘和网卡，不但可扩展性差，而且增加了与cgroup、网络控制工具TC的耦合度，并且具有不可移植和不可插拔的缺点。
技术实现思路
有鉴于此，本专利技术实施例为解决现有技术中存在的至少一个问题而提供一种大数据集群租户带宽控制方法及装置，能够将带宽资源进行隔离和管理。本专利技术实施例的技术方案是这样实现的：第一方面，本专利技术实施例提供一种大数据集群租户带宽控制方法，所述方法包括：获取来自于调度系统的带宽限制命令，所述带宽限制命令用于限制带宽，所述带宽限制命令包括租户信息；根据所述租户信息查询预设的关联信息，得到对应的带宽阈值，所述关联信息用于表明租户信息与带宽阈值之间的映射关系；确定与所述租户信息对应的租户的当前带宽信息；判断所述当前带宽信息与所述带宽阈值之间的大小关系，得到判断结果；根据所述判断结果控制所述租户在存储系统中所使用的带宽。第二方面，本专利技术实施例提供一种大数据集群租户带宽控制装置，所述装置包括第一获取单元、查询单元、确定单元、第一判断单元和控制单元，其中：第一获取单元，用于获取来自于调度系统的带宽限制命令，所述带宽限制命令用于限制带宽，所述带宽限制命令包括租户信息；查询单元，用于根据所述租户信息查询预设的关联信息，得到对应的带宽阈值，所述关联信息用于表明租户信息与带宽阈值之间的映射关系；确定单元，用于确定与所述租户信息对应的租户的当前带宽信息；第一判断单元，用于判断所述当前带宽信息与所述带宽阈值之间的大小关系，得到判断结果；控制单元，用于根据所述判断结果控制所述租户在存储系统中所使用的带宽。本专利技术实施例提供的一种大数据集群租户带宽控制方法及装置，所述方法包括：获取来自于调度系统的带宽限制命令，所述带宽限制命令用于限制带宽，所述带宽限制命令包括租户信息；根据所述租户信息查询预设的关联信息，得到对应的带宽阈值；确定与所述租户信息对应的租户的当前带宽信息；判断所述当前带宽信息与所述带宽阈值之间的大小关系，得到判断结果；根据所述判断结果控制所述租户在存储系统中所使用的带宽，如此，能够将带宽资源进行隔离和管理。附图说明图1为本专利技术实施例一大数据集群租户带宽控制方法的实现流程示意图；图2为本专利技术实施例二大数据集群租户带宽控制方法的实现流程示意图；图3-1为相关技术中大数据系统的组成结构示意图；图3-2为本专利技术实施例大数据系统的组成结构示意图；图3-3为本专利技术实施例三大数据集群租户带宽控制装置的组成结构示意图；图3-4为本专利技术实施例三租户管理系统的组成结构示意图；图3-5为本专利技术实施例三节流阀管理系统的组成结构示意图；图3-6为本专利技术实施例三实时带宽管理系统的组成结构示意图；图4为本专利技术实施例四大数据集群租户带宽控制装置的组成结构示意图。具体实施方式下面结合附图和具体实施例对本专利技术的技术方案进一步详细阐述。实施例一为了解决前述的技术问题，本专利技术实施例提供一种大数据集群租户带宽控制方法，该方法可以应用于计算设备，该方法所实现的功能可以通过计算设备中的处理器调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该计算设备至少包括处理器和存储介质。在具体实现的过程中，所述计算设备可以为任何具有计算能力的电子设备，如个人计算机或服务器集群或笔记本电脑等。图1为本专利技术实施例一大数据集群租户带宽控制方法的实现流程示意图，如图1所示，该方法包括：步骤S101，获取来自于调度系统的带宽限制命令，所述带宽限制命令用于限制带宽，所述带宽限制命令包括租户信息；步骤S102，根据所述租户信息查询预设的关联信息，得到对应的带宽阈值；这里，所述关联信息用于表明租户信息与带宽阈值之间的映射关系；在具体实现的过程中，所述关联信息可以采用映射列表或关联列表来实现。这里，在具体实现的过程中，所述关联信息通过以下方式形成：步骤S121，从所述存储系统获取租户信息，根据所述租户信息建立本地的租户列表；步骤S122，从所述存储系统获取所述租户信息对应的带宽阈值；步骤S123，根据所述租户信息和所述租户信息对应的带宽阈值建立关联信息。步骤S103，确定与所述租户信息对应的租户的当前带宽信息；步骤S104，判断所述当前带宽信息与所述带宽阈值之间的大小关系，得到判断结果；步骤S105，根据所述判断结果控制所述租户在存储系统中所使用的带宽。这里，所述带宽包括硬盘带宽和网卡带宽，因此本专利技术实施例能够将硬盘带宽和网络带宽作为统一的资源进行隔离和管理。本专利技术实施例中，步骤S105，所述根据所述判断结果控制所述租户本文档来自技高网...

【技术保护点】
一种大数据集群租户带宽控制方法，其特征在于，所述方法包括：获取来自于调度系统的带宽限制命令，所述带宽限制命令用于限制带宽，所述带宽限制命令包括租户信息；根据所述租户信息查询预设的关联信息，得到对应的带宽阈值，所述关联信息用于表明租户信息与带宽阈值之间的映射关系；确定与所述租户信息对应的租户的当前带宽信息；判断所述当前带宽信息与所述带宽阈值之间的大小关系，得到判断结果；根据所述判断结果控制所述租户在存储系统中所使用的带宽。

【技术特征摘要】
1.一种大数据集群租户带宽控制方法，其特征在于，所述方法包括：获取来自于调度系统的带宽限制命令，所述带宽限制命令用于限制带宽，所述带宽限制命令包括租户信息；根据所述租户信息查询预设的关联信息，得到对应的带宽阈值，所述关联信息用于表明租户信息与带宽阈值之间的映射关系；确定与所述租户信息对应的租户的当前带宽信息；判断所述当前带宽信息与所述带宽阈值之间的大小关系，得到判断结果；根据所述判断结果控制所述租户在存储系统中所使用的带宽。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：从所述存储系统获取租户信息，根据所述租户信息建立本地的租户列表；从所述存储系统获取所述租户信息对应的带宽阈值；根据所述租户信息和所述租户信息对应的带宽阈值建立关联信息。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：判断所述带宽阈值是否满足预设的条件，如果不满足，输出错误信息，所述错误信息用于提示用户使用了不正确的带宽值；如果满足，则根据所述租户信息和所述租户信息对应的带宽阈值建立关联信息。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：从所述调度系统获取最新注册的租户信息；根据所述最新注册的租户信息更新本地的租户列表；根据所述最新注册的租户信息获取对应的带宽阈值；根据所述最新注册的租户信息及其对应的带宽阈值更新所述关联信息。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述判断结果控制所述租户在存储系统中所使用的带宽，包括：如果所述当前带宽信息小于等于所述带宽阈值，则流程结束；如果所述当前带宽信息大于所述带宽阈值，则控制所述租户下正在运行的线程处于休眠状态。6.根据权利要求1至4任一项所述的方法，其特征在于，所述确定与所述租户信息对应的租户的当前带宽信息，包括：根据所述租户信息确定第一带宽值，所述第一带宽值为所述租户当前在所述存储系统中每一存储节点所使用的带宽值；根据所...

【专利技术属性】
技术研发人员：潘宇轩，王宝晗，
申请(专利权)人：中移苏州软件技术有限公司，中国移动通信集团公司，
类型：发明
国别省市：江苏,32