本发明专利技术涉及一种缓存集群自动缩扩容方法、系统、装置及存储介质，涉及缓存集群缩扩容领域。本发明专利技术利用缓存集群中缓存节点的分析指标数据得到综合使用评分和健康度评价，综合使用评分由CPU平均总使用率、内存平均使用率和最新磁盘使用率加权获得；健康度评价由最新CPU可用率与最新CPU增长率的比值，最新内存可用率与最新内存增长率的比值，最新磁盘可用率与最新磁盘增长率的比值加权求和后，减去最新请求失败率与设定系数的乘积获得；在综合使用评分大于第六阈值或者健康度评价小于第七阈值时，执行扩容。综合考虑资源占用、请求处理失败情况和健康预期进行提前的扩容控制，扩容的控制具有预见性，保证缓存集群稳定。保证缓存集群稳定。保证缓存集群稳定。
【技术实现步骤摘要】
一种缓存集群自动缩扩容方法、系统、装置及存储介质
[0001]本专利技术涉及缓存集群缩扩容
，尤其涉及一种缓存集群自动缩扩容方法、系统、装置及存储介质。
技术介绍
[0002]在我们的生产环境，我们会经常使用缓存集群。我们为保证集群的可用性，同时避免对资源的浪费，根据不同时间集群不同的负载情况，经常会在集群负载高的时候对集群扩容；在集群负载低的时候对集群缩容，这两个操作通常会来回反复进行。
[0003]目前业界对于缓存集群的节点扩缩容一般都是根据缓存集群的业务情况，如每秒访问量QPS，和缓存集群的资源占用情况进行缩扩容控制，定时或实时的观察缓存节点机器的情况，一旦发现QPS飙升，CPU或内存或者其他可用性指标告警，就需要增加缓存集群的节点；当发现QPS降下来后，内存和CPU使用率减少，需要把槽位迁移回去，然后删除节点。在根据资源占用情况进行缓存节点缩扩容时，一般都是针对当前的资源占用情况进行分析。不同任务情况，往往体现出不同的资源占用能力，即不同的任务情况，对资源占用情况的改变能力不同，仅考虑当前资源占用情况，往往使得缓存节点缩扩容的过程不能适应不同任务情况，相比任务变动提现在缩扩容效率低下、及时性不高；而反应在集群层面，降低缓存集群的稳定性和可用性。
技术实现思路
[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本专利技术提供一种缓存集群自动缩扩容方法、系统、装置及存储介质。
[0005]第一方面，本专利技术提供一种缓存集群自动缩扩容方法，包括：
[0006]利用缓存集群中缓存节点的分析指标数据得到综合使用评分和健康度评价，其中，所述综合使用评分由CPU平均总使用率、内存平均使用率和最新磁盘使用率加权获得；所述健康度评价由最新CPU可用率与最新CPU增长率的比值，最新内存可用率与最新内存增长率的比值，最新磁盘可用率与最新磁盘增长率的比值加权求和后，减去最新请求失败率与设定系数的乘积获得；
[0007]在综合使用评分大于第六阈值或者健康度评价小于设定的第七阈值时，执行扩容。
[0008]更进一步地，通过部署在缓存集群的每个缓存节点上的监视器，采集缓存节点的性能数据并通过性能数据的计算得到分析指标，所述性能数据包括：用户CPU使用率，系统CPU使用率，总内存大小、已使用内存大小，可使用内存大小，总磁盘大小，已使用磁盘大小，可使用磁盘大小，交换分区大小，已使用交换分区大小，总请求数和失败请求数；
[0009]对所述性能数据进行计算得到的分析指标包括：CPU总使用率，CPU可用率，内存使用率，内存可用率，磁盘使用率，请求失败率，CPU增长率，内存增长率，磁盘增长率和交换分区增长率。
[0010]更进一步地，对于设定数量个有效的CPU总使用率，CPU总使用率最大值与最小值的差与有效的CPU总使用率数量的比值作为CPU增长率；对于设定数量个有效的内存使用率，内存使用率最大值与最小值的差与有效内存使用率的数量的比值作为内存增长率；对于设定数量个有效的交换分区使用率，交换分区使用率最大值与最小值的差与有效交换分区使用率的数量的比值作为交换分区增长率。
[0011]更进一步地，在使用综合使用评分和健康度评价控制扩容之前，根据分析指标数据判断是否CPU平均总使用率大于设定的第一阈值或内存平均使用率大于第二阈值或最新交换分区增长率大于第三阈值；是则执行所述扩容，否则进一步检测CPU平均总使用率是否小于设定的第四阈值且内存平均使用率是否小于设定的第五阈值，是则，在缓存集群规模非最小的情况下执行缩容，否则在综合使用评分大于第六阈值或者健康度评价小于设定的第七阈值时，执行扩容。
[0012]更进一步地，所述扩容包括：向缓存集群中增加缓存节点，并在缓存节点加入后重新进行缓存均匀分配：所述缩容包括：确定待删除缓存节点，将待删除缓存节点的缓存数据迁移后，将待删除缓存节点从缓存集群中删除。
[0013]更进一步地，对得到的分析指标数据进行异常筛选得到最新的设定数量个有效的分析指标数据，利用有效的分析指标数据计算综合使用评分和健康度评价。
[0014]第二方面，本专利技术提供一种缓存集群自动缩扩容系统，包括：
[0015]采集模块，所述采集模块配置于缓存集群节点，用于采集缓存节点的性能数据，并周期性地推送给分析指标计算模块；
[0016]分析指标计算模块，所述分析指标计算模块利用性能数据计算出分析指标数据；
[0017]调度模块，所述调度模块利用有效的分析指标数据计算综合使用评分和健康度评价，在综合使用评分大于第六阈值或者健康度评价小于设定的第七阈值时，执行扩容；其中，所述综合使用评分由CPU平均总使用率、内存平均使用率和最新磁盘使用率加权获得；所述健康度评价由最新CPU可用率与最新CPU增长率的比值，最新内存可用率与最新内存增长率的比值，最新磁盘可用率与最新磁盘增长率的比值加权求和后，减去最新请求失败率与设定系数的乘积获得；
[0018]所述调度模块根据分析指标数据判断是否CPU平均总使用率大于设定的第一阈值或内存平均使用率大于第二阈值或最新交换分区增长率大于第三阈值；是则执行扩容，否则进一步检测CPU平均总使用率是否小于设定的第四阈值且内存平均使用率是否小于设定的第五阈值，是则，在缓存集群规模非最小的情况下执行缩容，否则结束。
[0019]优选地所述缓存集群自动缩扩容系统还包括：异常筛选模块，所述异常筛选模块对分析指标数据进行异常筛选得到有效的分析指标数据。
[0020]第三方面，本专利技术提供一种缓存集群自动缩扩容装置，包括：至少一处理单元，所述处理单元通过总线单元连接存储单元，所述存储单元存储计算机程序，所述计算机程序被所述处理单元执行时，实现所述的缓存集群自动缩扩容方法。
[0021]第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序被处理器执行时，实现所述的缓存集群自动缩扩容方法。
[0022]本专利技术实施例提供的上述技术方案与现有技术相比具有如下优点：
[0023]本申请中除了分别考虑CPU资源、内存资源使用情况进行缩扩容控制外，本申请还
利用缓存集群中缓存节点的分析指标数据得到综合使用评分和健康度评价，在综合使用评分大于第六阈值或者健康度评价小于设定的第七阈值时，执行扩容。所述健康度评价与最新CPU可用率与最新CPU增长率的比值、最新内存可用率与最新内存增长率的比值和最新磁盘可用率与最新磁盘增长率的比值呈正相关，与请求失败率呈负相关，其中，最新CPU可用率与最新CPU增长率的比值、最新内存可用率与最新内存增长率的比值和最新磁盘可用率与最新磁盘增长率的比值反应缓存集群还能维持健康状态时间。本申请利用健康度评价控制缓存集群扩容，即综合考虑请求处理失败情况和健康预期进行扩容控制，在请求处理失败严重或健康预期较差的情况下，提前进行扩容，扩容的控制具有预见性，通过预见性的扩容控制，能够充分保证缓存集群处理任务的稳定性，可用性。其中，所述综合使用评分由C本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种缓存集群自动缩扩容方法，其特征在于，包括：利用缓存集群中缓存节点的分析指标数据得到综合使用评分和健康度评价，其中，所述综合使用评分由CPU平均总使用率、内存平均使用率和最新磁盘使用率加权获得；所述健康度评价由最新CPU可用率与最新CPU增长率的比值，最新内存可用率与最新内存增长率的比值，最新磁盘可用率与最新磁盘增长率的比值加权求和后，减去最新请求失败率与设定系数的乘积获得；在综合使用评分大于第六阈值或者健康度评价小于设定的第七阈值时，执行扩容。2.根据权利要求1所述的缓存集群自动缩扩容方法，其特征在于，通过部署在缓存集群的每个缓存节点上的监视器，采集缓存节点的性能数据并通过性能数据的计算得到分析指标，所述性能数据包括：用户CPU使用率，系统CPU使用率，总内存大小、已使用内存大小，可使用内存大小，总磁盘大小，已使用磁盘大小，可使用磁盘大小，交换分区大小，已使用交换分区大小，总请求数和失败请求数；对所述性能数据进行计算得到的分析指标包括：CPU总使用率，CPU可用率，内存使用率，内存可用率，磁盘使用率，请求失败率，CPU增长率，内存增长率，磁盘增长率和交换分区增长率。3.根据权利要求2所述的缓存集群自动缩扩容方法，其特征在于，对于设定数量个有效的CPU总使用率，CPU总使用率最大值与最小值的差与有效的CPU总使用率数量的比值作为CPU增长率；对于设定数量个有效的内存使用率，内存使用率最大值与最小值的差与有效内存使用率的数量的比值作为内存增长率；对于设定数量个有效的交换分区使用率，交换分区使用率最大值与最小值的差与有效交换分区使用率的数量的比值作为交换分区增长率。4.根据权利要求1所述的缓存集群自动缩扩容方法，其特征在于，在使用综合使用评分和健康度评价控制扩容之前，根据分析指标数据判断是否CPU平均总使用率大于设定的第一阈值或内存平均使用率大于第二阈值或最新交换分区增长率大于第三阈值；是则执行所述扩容，否则进一步检测CPU平均总使用率是否小于设定的第四阈值且内存平均使用率是否小于设定的第五阈值，是则，在缓存集群规模非最小的情况下执行缩容，否则，在综合使用评分大于第六阈值或者健康度评价小于设定的第七阈值时，执行扩容。5.根据权利要求4所述的缓存集群自动缩扩容方法，其特征在于，所述...
【专利技术属性】
技术研发人员：刘帅，刘畅，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。