一种部署跨架构的大数据集群监控系统的方法及系统技术方案

公开了一种部署跨架构的大数据集群监控系统的方法及系统，包括，选取集群中一台主机为主控节点部署Ansible工具，一台主机为监控节点，所述集群内主控节点外剩余主机为从节点，集群内部与主控节点互信；主控节点通过Ansible自动化脚本，生成主机清单文件hosts.ini，逐个获取需要监控的组件信息和组件安装节点的硬件信息，将采集器文件、Prometheus安装包文件、数据可视化和监控平台的安装包文件、dashboard模板文件发送到对应架构的组件安装节点的主机进行安装和配置；将多个采集器注册到Prometheus中，联通Prometheus与所述数据可视化和监控平台对各节点的集群组件进行监控采集。通过该方法，实现对跨架构的大数据集群自动化部署可视化监控。

【技术实现步骤摘要】

本专利技术涉及大数据，具体涉及一种部署跨架构的大数据集群监控系统的方法及系统。

技术介绍

1、随着我国大数据技术的不断发展，以及信创国产化的道路，越来越多的企业开始采用分布式系统来处理海量数据，并且这个过程中会存在旧的x86架构服务器，以及采购新的国产化arm服务器。这些分布式系统通常由数百或数千台不同架构的服务器组成，需要进行有效的监控和管理，以确保系统的稳定性和可靠性。在此背景下，跨架构的监控系统成为了不可或缺的一部分。

2、目前，监控系统的发展已经进入了一个新的阶段。传统的监控方式通常是每个节点手动安装和配置，工作量大且容易出错。而基于自动化工具的监控方式，如ansible、kubernetes等可以简化部署和管理过程，但在跨架构的环境中可能需要额外的配置和插件支持，增加了部署和管理的复杂性，而且可能存在一些兼容性问题。

技术实现思路

1、针对现有技术中的问题，本申请提出了一种部署跨架构的大数据集群监控系统的方法及系统。

2、根据本专利技术的一方面，提出了一种部署跨架构的大数据集本文档来自技高网...

【技术保护点】

1.一种部署跨架构的大数据集群监控系统的方法，其特征在于，

2.根据权利要求1所述的一种部署跨架构的大数据集群监控系统的方法，其特征在于，将SSH通道密码配置到Ansible配置文件中，所述集群内部与主控节点基于SSH网络协议进行远程通信。

3.根据权利要求1所述的一种部署跨架构的大数据集群监控系统的方法，其特征在于，所述Ansible自动化脚本定义所需要获取的集群信息，调用预置的组件管理平台脚本生成或手动填写大数据组件集群主机清单文件，获取主从节点service分布、所有主机信息及其上的所有组件信息，生成主机清单文件hosts.ini。>

4.根据权利...

【技术特征摘要】

1.一种部署跨架构的大数据集群监控系统的方法，其特征在于，

2.根据权利要求1所述的一种部署跨架构的大数据集群监控系统的方法，其特征在于，将ssh通道密码配置到ansible配置文件中，所述集群内部与主控节点基于ssh网络协议进行远程通信。

3.根据权利要求1所述的一种部署跨架构的大数据集群监控系统的方法，其特征在于，所述ansible自动化脚本定义所需要获取的集群信息，调用预置的组件管理平台脚本生成或手动填写大数据组件集群主机清单文件，获取主从节点service分布、所有主机信息及其上的所有组件信息，生成主机清单文件hosts.ini。

4.根据权利要求3所述的一种部署跨架构的大数据集群监控系统的方法，其特征在于，基于主机清单文件hosts.ini获取需要监控的组件信息，通过设置gather_facts:true收集组件安装节点的硬件信息，组件安装节点的服务器架构为x86_64服务器或aarch64服务器，所述ansible自动化脚本基于组件安装节点的硬件信息寻找到对应架构的文件，发送到组件安装节点的主机进行组装。

5.根据权利要求4所述的一种部署跨架构的大数据集群监控系统的方法，其特征在于，所述ansible...

【专利技术属性】
技术研发人员：苏留生，陈斌，黄剑，曾璐，郑豪，张雅芬，冯西羊，陈华彬，李仕霖，杜林霖，
申请(专利权)人：福建美亚国云智能装备有限公司，
类型：发明
国别省市：