一种管理企业内部制造技术

本发明专利技术公开了一种管理企业内部

【技术实现步骤摘要】
一种管理企业内部elasticsearch集群的自动化管理系统


[0001]本专利技术涉及企业管理
，尤其是一种管理企业内部
elasticsearch
集群的自动化管理系统
。

技术介绍

[0002]目前行业中
Elasticsearch
的管理系统可以帮助管理员监控
、
管理和维护
Elasticsearch
集群，它提供了一组工具和功能，使管理员能够执行以下任务：集群监控和健康管理：管理员可以通过管理系统监视整个
Elasticsearch
集群的状态
、
性能和健康状况，它提供了实时指标和图形化界面，以便管理员能够识别和解决任何潜在的问题；配置和管理索引：管理员可以使用管理系统来创建
、
配置和管理
Elasticsearch
的索引，他们可以定义索引的映射
、
设置索引的分片和副本
、
执行索引的优化和维护操作等；数据备份和恢复：管理系统通常提供了备份和恢复数据的功能，以确保在发生故障或数据丢失时能够恢复数据，管理员可以定期备份数据，并在需要时进行恢复操作；安全管理：管理系统提供了对
Elasticsearch
集群的安全管理功能，包括用户认证
、
访问控制和权限管理，管理员可以配置用户和角色，并控制谁可以访问集群的哪些资源和操作
。
[0003]但现有技术中，不具备管控整个
ES
集群生命周期能力，偏重于运维侧人员使用，开发侧人员无法享用管理系统带来的便捷性和效能提升，且不能满足企业内部资源利用率统计和预算计费的需求
。
因此，针对上述问题提出了一种管理企业内部
elasticsearch
集群的自动化管理系统
。

技术实现思路

[0004]本专利技术的目的在于提供一种管理企业内部
elasticsearch
集群的自动化管理系统，主要解决的技术问题是如何进一步解放运维人员，提高运维人员的工作效率
。
[0005]一种管理企业内部
elasticsearch
集群的自动化管理系统，包括
ES
集群生命周期管理
、
指标监控与图形化
、
告警订阅
、
索引管理
、
账号管理
、
一键分析和通过与
CMDB
系统
、
预算系统整合；
[0006]所述
ES
集群生命周期管理：通过该功能用户可自动化管理
ES
集群的整个生命周期，而无需运维干预；也可以根据实际资源需求，动态调整集群的实例个数和资源配置；
[0007]所述指标监控与图形化：通过多维度对
ES
的各项指标分析监控，助力运维人员和开发人员迅速定位集群状况
、
排查问题和优化集群状态；
[0008]所述告警订阅：用户可根据需求或者已有策略，配置告警并订阅，当集群发生异常时获得短信或电话提醒；
[0009]所述索引管理：通过对
ES
深度开发，实现了索引元数据近实时抓取；可在该功能模块中进行索引结构查看
、
修改
、
关闭；
[0010]所述账号管理：实现了对
ES
体系账号的管理，在这个功能模块中，用户可按照索引前缀定义
ES
账户并授权，授权类型支持只读
、
只写
、all
三种；
[0011]所述一键分析：在
SRE
理念指引下，结合多年
ES
开发和运维实践经验，一键分析功能可实时结合
ES
集群状态
、
网络状况
、
索引写速率
、
查询速率
、SLA、pending tasks、
系统和实例负载
、
分片满载率
、
索引
Pool、
查询
Pool、Manage Pool
等多个维度诊断集群问题，并给出人性化科学建议；
[0012]所述通过与
CMDB
系统
、
预算系统整合：使得企业内部各业务线
ES
资源使用和花销情况一目了然，为指导企业内部开源节流，合理申请和使用资源，提升资源利用率提供了科学的数据依据
。
[0013]进一步地，所述
ES
集群生命周期管理的具体实现方案如下：
[0014]借助工单系统的自定义表单功能，为用户提供了
ES
自动化创建，销毁，扩容，缩容入口；
[0015]工单审批通过后，会将用户提交的信息提交给
ES
管理系统进一步处理，
ES
管理系统获取到工单审批通过的信息后，结合套餐的详细配置和模板文件，会动态生成一个
ElasticSearch Operator
可运行的
yaml
文件；
[0016]ES
管理系统将该
yaml
文件提交给容器管理系统对外暴露的
K8S service API
，该
API
接口会把
yaml
文件提交给
ElasticSearch Operator
运行；
[0017]ElasticSearch Operator
获取到
yaml
文件后，会根据文件描述，执行集群创建
、
销毁
、
扩缩等操作，从而实现
ES
集群的全生命周期管理
。
[0018]进一步地，指标监控总体分为2部分，一是集群监控和图形化，另一个是实例监控和图形化
。
[0019]进一步地，所述集群监控和图形化包括集群状态监控
、JVM
监控
、CPU
监控
、
查询监控
、
写入耗时监控
、GC
监控
、pending tasks
监控和分片监控
。
[0020]进一步地，所述实例监控和图形化包括实例的
JVM
监控
、CPU
监控
、
查询耗时监控
、query
查询速率监控
、index
写入速率监控
、GC
次数监控
、GC
耗时监控和拒绝队列监控
。
[0021]进一步地，所述
ES
管理系统会定时将每个集群的资源情况和利用率定时上报给
CMDB本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种管理企业内部
elasticsearch
集群的自动化管理系统，其特征在于：包括
ES
集群生命周期管理
、
指标监控与图形化
、
告警订阅
、
索引管理
、
账号管理
、
一键分析和通过与
CMDB
系统
、
预算系统整合；所述
ES
集群生命周期管理：通过该功能用户可自动化管理
ES
集群的整个生命周期，而无需运维干预；也可以根据实际资源需求，动态调整集群的实例个数和资源配置；所述指标监控与图形化：通过多维度对
ES
的各项指标分析监控，助力运维人员和开发人员迅速定位集群状况
、
排查问题和优化集群状态；所述告警订阅：用户可根据需求或者已有策略，配置告警并订阅，当集群发生异常时获得短信或电话提醒；所述索引管理：通过对
ES
深度开发，实现了索引元数据近实时抓取；可在该功能模块中进行索引结构查看
、
修改
、
关闭；所述账号管理：实现了对
ES
体系账号的管理，在这个功能模块中，用户可按照索引前缀定义
ES
账户并授权，授权类型支持只读
、
只写
、all
三种；所述一键分析：在
SRE
理念指引下，结合多年
ES
开发和运维实践经验，一键分析功能可实时结合
ES
集群状态
、
网络状况
、
索引写速率
、
查询速率
、SLA、pendingtasks、
系统和实例负载
、
分片满载率
、
索引
Pool、
查询
Pool、ManagePool
等多个维度诊断集群问题，并给出人性化科学建议；所述通过与
CMDB
系统
、
预算系统整合：使得企业内部各业务线
ES
资源使用和花销情况一目了然，为指导企业内部开源节流，合理申请和使用资源，提升资源利用率提供了科学的数据依据
。2.
根据权利要求1所述的一种管理企业内部
elasticsearch
集群的自动化管理系统，其特征在于：所述
ES
集群生命周期管理的具体实现方案如下：借助工单系统的自定义表单功能，为用户提供了
ES
自动化创建，销毁，扩容，缩容入口；工单审批通过后，会将用户提交的信息提交给
ES
管理系统进一步处理，
ES
管理系统获取到工单审批通过的信息后，结合套餐的详细配置和模板文件，会动态生成一个
ElasticSearchOperator
可运行的
yaml
文件；
ES
管理系统将该
yaml
文件提交给容器管理系统对外暴露的
K8Sservice API
，该
API
接口会把
yaml
文件提交给
ElasticSearchOperator
运行；
ElasticSearchOperator
获取到
yaml
文件后，会根据文件描述，执行集群创建
、
销毁
、
扩缩等操作，从而实现
ES
集群的全生命周期管理
。3.
根据权利要求1所述的一种管理企业内部
elasticsearch
集群的自动化管理系统，其...

【专利技术属性】
技术研发人员：吕震宇，张源，
申请(专利权)人：北京比特易湃信息技术有限公司，
类型：发明
国别省市：