一种基于ES服务的内存熔断方法、装置、设备及可读介质制造方法及图纸

本发明专利技术提供了一种基于ES服务的内存熔断的方法、装置、设备及可读介质，该方法包括：监控集群各节点实例的资源状态和任务运行情况；基于监控到的资源状态和任务运行情况设定任务优先级，并根据设定的任务优先级设定优先级控制列表；响应于检测到资源状态达到预设第一阈值，根据列表中的优先级为任务分配不同的系统资源；响应于检测到资源状态达到预设第二阈值，根据列表中的优先级将优先级低的任务进行内存熔断以释放资源。通过使用本发明专利技术的方案，能够有效避免高负载复杂场景下集群的重要任务执行失败，更好的保护重要任务的运行平稳，极大的提高ES服务运行的稳定性和高效能。极大的提高ES服务运行的稳定性和高效能。极大的提高ES服务运行的稳定性和高效能。

【技术实现步骤摘要】
一种基于ES服务的内存熔断方法、装置、设备及可读介质


[0001]本专利技术涉及计算机领域，并且更具体地涉及一种基于ES服务的内存熔断的方法、装置、设备及可读介质。

技术介绍

[0002]ES(指一种分布式全文数据库系统服务Elasticsearch)应用服务本身将当前环境可以使用RAM资源进行分类区分，其中堆外占用为索引中的FST索引内容，当索引开启时常驻内存。在应用的堆内则进行更加精细的区分，包括fileddataCache、requestCache、queryCache等内存区域，这部分堆内内存使用区域均位于ES应用的JVM划分RAM资源中，用于ES检索系统的特殊内容、索引、检索等部分功能的运行。对于ES的堆内使用内存区域，ES存在一套内存熔断机制，内存熔断机制针对分配的可用资源使用情况进行任务熔断管理，当某一分区任务资源使用过限，便会自动启动熔断保护机制，以便及时终止当前异常任务并释放资源，避免应用和系统因为资源缺乏导致宕机故障。
[0003]当前主流版本的ES服务架构是一种业务无感知架构，当一套集群系统的任务并发较大时，无论服本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于ES服务的内存熔断的方法，其特征在于，包括以下步骤：监控集群各节点实例的资源状态和任务运行情况；基于监控到的资源状态和任务运行情况设定任务优先级，并根据设定的任务优先级设定优先级控制列表；响应于检测到资源状态达到预设第一阈值，根据所述列表中的优先级为任务分配不同的系统资源；响应于检测到资源状态达到预设第二阈值，根据所述列表中的优先级将优先级低的任务进行内存熔断以释放资源。2.根据权利要求1所述的方法，其特征在于，监控集群各节点实例的资源状态和任务运行情况包括：监控收集各节点和实例返回的集群资源信息；监控记录各节点实例的任务运行情况，筛选出有效的任务信息；监控集群的健康状态情况以及各节点的任务稳定性。3.根据权利要求1所述的方法，其特征在于，基于监控到的资源状态和任务运行情况设定任务优先级，并根据设定的任务优先级设定优先级控制列表包括：分析一定时间段内监控到的资源状态和任务运行情况并结合用户自定义的任务的优先级设定集群内任务的整体优先级顺序；根据整体优先级顺序设定优先级列表。4.根据权利要求1所述的方法，其特征在于，响应于检测到资源状态达到预设第一阈值，根据所述列表中的优先级为任务分配不同的系统资源包括：响应于检测到资源状态达到预设第一阈值，将所述列表中优先级低的任务的部分资源调整到优先级高的任务；响应于检测到资源状态小于预设第一阈值，将调整的资源返回到原来的优先级低的任务中。5.根据权利要求4所述的方法，其特征在于，响应于检测到资源状态达到预设第一阈值，将所述列表中优先级低的任务的部分资源调整到优先级高的任务包括：响应于检测到资源状态达到预设第一阈值，将所述列表中优...

【专利技术属性】
技术研发人员：侯满，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：