云计算中心运维数据集中可视化方法及其系统技术方案

技术编号:23604486 阅读:24 留言:0更新日期:2020-03-28 05:38
本发明专利技术提供一种云计算中心运维数据集中可视化方法及其系统,该方法包括:S1、对云计算中心中预设的监控对象采集至少一种运维指标数据;S2、将所述运维指标数据进行实时计算、聚合,获取运维实时数据及运维聚合数据并存入数据库中;S3、通过预构建的二级模板指定多个集群和/或节点;S4、在所述数据库中获取被指定的所述多个集群和/或节点相关的运维实时数据及运维聚合数据,并在同一页面进行展示。本发明专利技术对云计算中心的运维数据进行了规范化、集中化、图形化管理,用丰富直观的可视化页面,从多个维度展示了云计算中心集群、存储、网络设备、项目、机时等数据。

Visualization method and system of operation and maintenance data centralization in Cloud Computing Center

【技术实现步骤摘要】
云计算中心运维数据集中可视化方法及其系统
本专利技术属于信息
,具体涉及一种云计算中心运维数据集中可视化方法及其系统。
技术介绍
目前,各大企业云计算中心规模及服务范围逐步扩大,各品牌集群、存储都有不同的监控功能,存在监控内容单一、数据分散、可视化程度较低等问题。
技术实现思路
本专利技术的特征和优点在下文的描述中部分地陈述,或者可从该描述显而易见,或者可通过实践本专利技术而学习。为克服现有技术的问题,本专利技术提供一种云计算中心运维数据集中可视化方法,包括:S1、对云计算中心中预设的监控对象采集至少一种运维指标数据;S2、将所述运维指标数据进行实时计算、聚合,获取运维实时数据及运维聚合数据并存入数据库中;S3、通过预构建的二级模板指定多个集群和/或节点;S4、在所述数据库中获取被指定的所述多个集群和/或节点相关的运维实时数据及运维聚合数据,并在同一页面进行展示。可选地,所述预设的监控对象包括服务器、存储、交换机、调度系统、软件、外设中的至少一种。可选地,所述数据库包括ElasticSearch数据库、InfluxDB数据库。可选地,所述二级模板包括第一参数模板和第二参数模板,所述第一参数模板对应的参数选取自云计算中心各集群名称;所述第二参数模板对应的参数选取自当前所选集群的所有节点名称。可选地,所述第一参数模板为$cluster,所述第二参数模板为$host。可选地,所述步骤S4中包括:将所述运维指标数据采用预设的图表类型进行展示。本专利技术还提供一种云计算中心运维数据集中可视化系统,包括:采集模块,用于对云计算中心中预设的监控对象采集至少一种运维指标数据;计算聚合模块,用于将所述运维指标数据进行实时计算、聚合,获取运维实时数据及运维聚合数据并存入数据库中;模板化变量查询模块,用于通过预构建的二级模板指定多个集群和/或节点;展示模块,在所述数据库中获取被指定的所述多个集群和/或节点相关的运维指标数据,并在同一页面进行展示。可选地,所述二级模板包括第一参数模板和第二参数模板,所述第一参数模板对应的参数选取自云计算中心各集群名称;所述第二参数模板对应的参数选取自当前所选集群的所有节点名称。可选地,所述第一参数模板为$cluster,所述第二参数模板为$host。本专利技术提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行的至少一个程序,所述至少一个程序被所述计算机执行时使所述计算机执行本专利技术任一实施例提供的云计算中心运维数据集中可视化方法中的步骤。本专利技术提供一种云计算中心运维数据集中可视化方法及其系统、计算机可读存储介质,可以实时展示云计算中心设备的运行情况,也可以进行历史数据统计。附图说明图1为云计算中心的结构示意图;图2为本专利技术实施例的云计算中心运维数据集中可视化方法的流程示意图;图3为本专利技术实施例的云计算中心运维数据集中可视化系统的结构示意图;图4为本专利技术实施例的数据采集、聚合及存储的示意图;图5为本专利技术另一实施例的云计算中心运维数据集中可视化系统的结构示意图。具体实施方式下面结合附图对本专利技术作进一步详细描述:请参照图1,图1为云计算中心的结构示意图。云计算中心包括相连的两个核心交换机60、70,核心交换机60、70上连有多个服务器、存储器、集群、设备等,例如核心交换机60上通过交换机61连接源代码服务器71,通过交换机62连接NES解释服务器72,直接连接软件服务器73、登录服务器74、存储器75,通过交换机63连接同有存储76,通过交换机64连接Sonas存储77、Panasas存储78、集群79、设备90。同样核心交换机70上可以通过交换机多个集群、设备等(图中未显示),此外,核心交换机70上还可以连有Sunray服务器、102网段解释服务器、登录服务器、各类存储等(图中未显示)。一般地,云计算中心拥有十几套集群,共计两千多个节点,每台主机又有多项监控指标。如图2所示,本专利技术提供一种云计算中心运维数据集中可视化方法,包括:S1、对云计算中心中预设的监控对象采集至少一种运维指标数据;预设的监控对象包括服务器、存储、交换机、调度系统、软件、外设中的至少一种,运维指标数据根据监控对象的不同而有所不同,更具体地:当监控对象为服务器时,其对应的监控数据可以包括:CPU、内存、网络、日志、磁盘读写、磁盘容量、平均负载、UPTIME、LOGIN、SWAP、GPU、进程等运维指标数据;例如:CPU集群在线时间、CPU数量、CPU利用率、内存利用率、磁盘利用率、网络吞吐量、用户数量等数据,GPU数量、GPU利用率、内存利用率、进程情况;当监控对象为存储时,其对应的监控数据可以包括:容量、读写、节点状态、CPU、CacheHit、ops、quato、报警日志等运维指标数据;当监控对象为交换机时,其对应的监控数据可以包括:流量统计、端口流量、错误数据包、丢包数、端口状态等运维指标数据;当监控对象为调度系统时,其对应的监控数据可以包括:文件系统、节点状态、节点数、作业数、作业状态、排队时间、核数等运维指标数据;当监控对象为软件时,其对应的监控数据可以包括:提供标准接口的数据源、日志、数据库等运维指标数据;当监控对象为外设时,其对应的监控数据可以包括:提供标准接口的数据源、日志、数据库等运维指标数据。S2、将所述运维指标数据进行实时计算、聚合,获取运维实时数据及运维聚合数据并存入数据库中;以CPU监控数据为例,PAgent(采集组件)根据配置启动CPU采集模块,异步读取idle、iowait、nice、softirq、sys、user等CPU利用情况数据(数据间隔30秒),经过数据格式转换,将数据异步发送给PCollect(数据汇集组件)。PCollect接收CPU信息进行处理、分析,通过实时数据计算平均值、计算聚合数据,存储在数据库中,聚合数据可以依据预设的聚合规则获取,例如每5分钟、1小时或1天进行聚合。数据库包括ElasticSearch数据库、InfluxDB数据库,ElasticSearch是开源的分布式存储,可扩展、高可用;采用Lucene作为引擎,支持全局索引;以JSON作为数据存储格式,良好的兼容性;支持海量数据处理,同时支持与HDFS等离线分析框架无缝对接。InfluxDB是一款Go语言编写的开源分布式时序、事件和指标数据库。主要用于存储基于时间序列的指标数据。一般地,系统基本负载数据(集群、存储的监控数据)可以存储在ElasticSearch数据库、InfluxDB数据库,其他数据主要是在InfluxDB数据库,比如用电量、作业信息等。系统基本负载数据在InfluxDB数据库里保留时间较短,主要用来做展示的,时序数据库InfluxDB数据库里存数据更易于展示。ElasticSearch数本文档来自技高网...

【技术保护点】
1.一种云计算中心运维数据集中可视化方法,其特征在于,包括:/nS1、对云计算中心中预设的监控对象采集至少一种运维指标数据;/nS2、将所述运维指标数据进行实时计算、聚合,获取运维实时数据及运维聚合数据并存入数据库中;/nS3、通过预构建的二级模板指定多个集群和/或节点;/nS4、在所述数据库中获取被指定的所述多个集群和/或节点相关的运维实时数据及运维聚合数据,并在同一页面进行展示。/n

【技术特征摘要】
1.一种云计算中心运维数据集中可视化方法,其特征在于,包括:
S1、对云计算中心中预设的监控对象采集至少一种运维指标数据;
S2、将所述运维指标数据进行实时计算、聚合,获取运维实时数据及运维聚合数据并存入数据库中;
S3、通过预构建的二级模板指定多个集群和/或节点;
S4、在所述数据库中获取被指定的所述多个集群和/或节点相关的运维实时数据及运维聚合数据,并在同一页面进行展示。


2.根据权利要求1所述云计算中心运维数据集中可视化方法,其特征在于,所述预设的监控对象包括服务器、存储、交换机、调度系统、软件、外设中的至少一种。


3.根据权利要求1所述云计算中心运维数据集中可视化方法,其特征在于,所述数据库包括ElasticSearch数据库、InfluxDB数据库。


4.根据权利要求1所述云计算中心运维数据集中可视化方法,其特征在于,所述二级模板包括第一参数模板和第二参数模板,所述第一参数模板对应的参数选取自云计算中心各集群名称;所述第二参数模板对应的参数选取自当前所选集群的所有节点名称。


5.根据权利要求4所述云计算中心运维数据集中可视化方法,其特征在于,所述第一参数模板为$cluster,所述第二参数模板为$host。


6.根据权利要求1所述...

【专利技术属性】
技术研发人员:冯佳丽雍晨天葛鑫
申请(专利权)人:中国石油化工股份有限公司中国石油化工股份有限公司石油物探技术研究院
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1