大数据集群资源动态调整方法及装置制造方法及图纸

本申请提供一种大数据集群资源动态调整方法及装置，本实施例在自动监测到大数据集群当前存在扩容需求是，获取公有云当前的可用云服务器信息；基于预设的扩容规则以及可用云服务器信息，对公有云中当前可用的各个云服务器进行排序，并自对应的排序结果中选取至少一个作为目标云服务器，以应用目标云服务器对大数据集群进行资源扩容。本申请能够实现对大数据集群资源的动态调整，并能够有效提高大数据集群资源动态调整的及时性及自动化程度，进而能够提高资源动态调整结果的可靠性及适用性。够提高资源动态调整结果的可靠性及适用性。够提高资源动态调整结果的可靠性及适用性。

【技术实现步骤摘要】
大数据集群资源动态调整方法及装置


[0001]本申请涉及计算机
，具体而言，涉及一种大数据集群资源动态调整方法及装置。

技术介绍

[0002]在大数据集群中，大数据节点用来计算大数据任务，通过移动计算达到快速处理海量大数据集的能力。通常在计算前先搭建好大数据集群，后期将计算任务发送到集群上处理数据。这种方案需要在计算搭建时估算出大概的集群资源使用情况，后期无法根据集群资源使用情况来增加和减少集群机器节点，例如资源评估过少，集群任务太多将导致支持任务长时间处于等待状态、集群资源评估过多，将造成集群长时间处于空闲状态，造成资源浪费。因此，需要对数据集群的资源进行调整。
[0003]目前，现有的大数据集群资源调整方式通常通过人工评估资源使用情况，再新增或减少大数据集群中的服务器，若资源使用情况显示需要扩容，则选取扩容服务器加入大数据集群。然而，利用人工不定期检查资源使用情况的方式存在人工介入步骤多而导致出错概率高、无法做到实时响应集群的资源情况、对资源评估可能造成滞后等问题；且在选取扩容服务器的过程中，由于没有自动化且有效的选取手段，因本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大数据集群资源动态调整方法，其特征在于，包括：若自动监测到大数据集群当前存在扩容需求，则获取公有云当前的可用云服务器信息；基于预设的扩容规则以及所述可用云服务器信息，对所述公有云中当前可用的各个云服务器进行排序，并自对应的排序结果中选取至少一个作为目标云服务器；应用所述目标云服务器对所述大数据集群进行资源扩容。2.根据权利要求1所述的大数据集群资源动态调整方法，其特征在于，还包括：若自动监测到大数据集群当前存在缩容需求，则自所述公有云中调取所述大数据集群当前的目标云服务器列表；判断所述目标云服务器列表中的各个目标云服务器是否包含有当前空闲的目标云服务器，若是，则在所述大数据集群中释放当前空闲的目标云服务器，并在所述目标云服务器列表中删除已释放的目标云服务器。3.根据权利要求1所述的大数据集群资源动态调整方法，其特征在于，在所述若自动监测到大数据集群当前存在扩容需求，则获取公有云当前的可用云服务器信息之前，所述方法还包括：基于预设的监控程序实时采集所述大数据集群的资源使用数据；比较当前的所述资源使用数据与预设的资源使用数值范围；相对应的，所述若自动监测到大数据集群当前存在扩容需求，则获取公有云当前的可用云服务器信息，包括：若所述资源使用数据大于所述资源使用数值范围的上限值，则判定所述大数据集群当前存在扩容需求，并获取公有云当前的可用云服务器信息。4.根据权利要求3所述的大数据集群资源动态调整方法，其特征在于，在所述对所述公有云中当前的各个可用服务器进行排序之前，还包括：获取所述资源使用数据对应的扩容属性；根据所述扩容属性生成所述大数据集群当前的扩容规则，其中，所述扩容属性包括可用服务器的数量要求数据、性能要求数据、资源量要求数据和购买价格要求数据中的至少一种。5.根据权利要求4所述的大数据集群资源动态调整方法，其特征在于，所述扩容属性包括数量要求数据和购买价格要求数据；相对应的，所述基于预设的扩容规则以及所述可用云服务器信息，对所述公有云中当前可用的各个云服务器进行排序，并自对应的排序结果中...

【专利技术属性】
技术研发人员：顾凌云，郭志攀，王伟，张爱平，李军军，陈波，
申请(专利权)人：南京冰鉴信息科技有限公司，
类型：发明
国别省市：